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内 容 简介 


本 书 是 自 适 应 信号 妹 理 领域 的 - -本 经 典 教材 。 全书 共 17 E. 系统 全 面 、 识 人 浅 出 地 讲述 了 日 适应 信和 导 处 
理 的 基本 理论 与 方法 ,充分 反映 了 近年 来 该 领域 的 新 理论 . 新 技术 利 新 应 用 - 内 容 包 括 : Be MS hie 
项 、 自 适应 格 型 滤波 器 、 自 适应 递 晤 滤波 器 , 频 域 和 子 带 自 适应 滤波 呆 、 育 自 适应 滤波 器 、 神 经 网 络 非 线性 E 
适应 滤波 器 等 及 其 在 通信 与 信息 系统 中 的 应 用 : Roem. ASE. EGAN. BORAT. aa boats 
与 电子 信息 类 相关 专业 的 高 年 级 本 科 牛 .研究 后 、 教师 大 工程 技术 大 员 阅 污 
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2001 年 ?月 间 , E PTER AA T E ea AS TL ee SET, 商量 引进 
国外 教材 问题 。 pT HALE a e+ oa], AU, 这 对 我 国 通信 事业 、 特 别 是 对 
高 等 院 校 通信 学 科 的 教学 工作 会 很 有 好 处 。 

教材 建设 是 高 校 教学 建设 的 主要 内 容 之 一 , 编写 、 出 版 一 本 好 的 教材 , 意味 着 开设 了 一 门 好 的 
课程 ， 甚 至 可 能 预示 着 一 个 靳 新 学 科 的 诞生 。20 世纪 4 物 年 代 MIT 林肯 实验 室 出 版 的 一 礁 28 AA 
达 从 书 ， 对 近代 电子 学 科 、 特 别 基 对 雷达 技术 的 推动 作用 ， 就 是 一 个 很 好 的 例子 。 

我 国 领导 部 门 对 教材 建设 一 直 非 常 重视 。20 世 纪 80 年 代 ， 在 原 教委 教材 编审 委员 会 的 领导 下 ， 
汇集 了 高 等 院 校 几 百 位 富有 教学 经 验 的 专家 , 编写 、 出 版 了 一 大 批 教材 ; 很 多 院 校 还 根据 学 校 的 特点 
和 需要 ,陆续 编写 了 大 量 的 讲义 和 参考 书 。 这 些 教材 对 高 校 的 教学 工作 发 挥 了 极 好 的 作用 。 近 年 来 ， 
随 着 教学 改革 不 断 深 信和 科学 技术 的 飞速 进步 , 有 的 教材 内 容 已 比较 陈旧 、 落 后 , 难以 适应 教学 的 要 
K, 特别 是 在 电子 学 和 通信 技术 发 展 神速 、 可 以 讲 是 日 新 月 异 的 今天 , 如 何 适应 这 种 情况 , 更 是 一 个 
党 须 队 真 考虑 的 问题 解决 这 个 问题 ,除了 恢 千 高 校 的 老师 和 专家 撰写 新 的 符合 要 求 的 教科 书 外 , 引 
进 和 出 版 一 些 国外 优秀 电子 与 通信 教材 ， 尤 其 是 有 选择 地 引进 一 批 英文 原版 教材 ， 是 会 有 好 处 的 。 

一 年 多 来 ,电子 工业 出 版 社 为 此 做 了 很 多 工作 。 他 们 成 立 了 一 个 “国外 电子 与 通信 教材 系列 " 
项 目 组 ,选派 了 富有 经 验 的 业务 骨 于 负责 有 关 工 作 , 收集 了 230 余 种 通信 教材 和 参考 书 的 详细 资料 ， 
调 来 了 100 余 种 原版 教材 样 书 , 依靠 由 20 余 位 专家 组 成 的 出 版 委员 会 ， 从 中 精 选 了 40 多 种 ,内容 
$e, 履 盖 了 电路 理论 与 应 用 、 信和 号 与 系统 、 数 字 信和 号 处 理 、 微 电 子 、 通信 系统 、 电 磁场 与 微波 等 
方面 ， 既 可 作为 通信 专业 本 科 生 和 研究 生 的 教学 用 书 ， 也 可 作为 有 关 专 业 人 员 的 参考 材料 。 此 外 ， 
这 批 教材 ,有 的 项 译 为 中 文 , 还 有 部 分 教材 直接 影印 出 版 ,以 供 教师 用 英语 直接 授课 。 希望 这 些 教 
材 的 引进 和 出 版 对 高 校 通信 教学 和 教材 改革 能 起 一 定 作用 。 

ERE, 我 还 要 感谢 参加 工作 的 各 位 教授 、 专 家 、 老师 与 参加 翻译 、 编 辑 和 出 版 的 同志 们 。 各 
位 专家 认真 负责 、 严 遵 细致 、 不 僚 辛 劳 、 不 怕 弄 碎 和 精益 求 精 的 态度 ,充分 体现 了 中 国教 育 工作 者 
和 出 版 工作 者 的 良好 美德 。 

随 着 我 国 经 济 建设 的 发 展 和 科学 技术 的 不 断 进步 ， 对 高 校 教学 工作 会 不 断 提出 新 的 要 求 和 和 希 
望 。 RA, 无 论 如 何 , 要 做 好 引进 国外 教材 的 工作 , 一 定 要 联系 我 国 的 实际 。 教材 和 学 术 专著 不 同 ， 
既 要 注意 科学 性 、 学 术 性 , 也 要 重视 可 读 性 , EHARA, 便于 读者 自学 ; 引进 的 教材 要 适应 高 校 
教学 改革 的 需要 , 针对 目前 一 些 教材 内 容 较为 陈旧 的 问题 ,有 有 目的 好 引进 一 些 先 进 的 和 正在 发 展 中 
的 交叉 学 科 的 参考 书 ; 要 与 国内 出 版 的 教材 相配 套 , 安排 好 出 版 英文 原版 教材 和 翻译 教材 的 比例 。 
我 们 努力 使 这 套 教 烤 能 尽量 满足 上 述 要 求 ， 希 望 它们 能 放 在 学 生 们 的 课 桌 上 ,发挥 一 定 的 作用 。 

最 后 , 巴 祝 “国外 电子 与 通信 教材 系列 ”项 目 取得 成 功 , 为 我 国电 子 与 通信 教学 和 通信 产业 的 
发 展 培土 施肥 。 也 恳切 希望 读者 能 对 这 些 书籍 的 不 足 之 处 、 特别 是 翻译 中 存在 的 问题 , 提出 意见 和 


aN, LAGE PPAR ES BIE. 
y 
AIH 


中 国 工程 院 院 士 、 清 华 大 学 教授 
“国外 电子 与 通信 教材 系列 ”出 版 委员 会 主任 


出 版 说 明 


进入 21 诗 纪 以 来 ， 我 国信 息 产业 在 生产 和 科研 方面 部 大 大 加 快 了 发 展 速 席 ， 并 已 成 为 国民 经 
济 发 展 的 支柱 产业 之 … E, A EHB AR RRRA RAIE, 我 国 在 技术 并 发、 教育 培 
训 等 方 画 都 还 丫 在 着 较 大 的 基肥 特别 是 在 如 入 WTO 厅 的 今天 ,我 国信 息 产 业 而 临 着 国外 竞争 对 
手 的 严峻 挑战 .， 

作为 我 国 储 息 产业 的 专业 科技 出 版 社 . 我 们 始终 关注 关 全 球 电子 信息 技术 的 发 展 方向 , 始终 把 
引进 国外 优秀 电子 5 通信 信息 技术 教材 和 专业 书籍 放 在 我 们 工作 的 重要 位 置 上 .在 2000 年 至 2001 
生 间 ， 我 社 先 后 从 世界 著名 出 版 公司 引进 出 版 了 4 余 种 教材 ， 形 成 了 - 套 “ 国 外 计算 机 科学 教材 
系列 ", 在 全 国 高 校 以 及 科研 部 门 中 受到 了 次 迎 和 好 评 , 得 到 了 计算 机 领域 的 广大 教师 与 科 全 工作 
者 的 充分 肯定 ， 

引进 和 出 版 - : 些 国外 优秀 电子 与 通信 教材 , 尤其 足 有 选择 地 引进 - 批 英文 序 版 教材 ,将 有 助 于 
我 国信 息 产业 培养 具有 国际 竞争 能 力 的 技术 人 机 ,也 将 有 助 于 我 国 国 内 在 电子 与 通信 教学 工作 中 党 
所 和 跟踪 国际 发 展 水 平 。 根据 国内 信息 产 引 的 现状 ,教育 部 关于 “十 五 ”期间 演 道 高 等 教育 教材 
建设 与 改革 的 意见 》 的 指示 精神 以 及 高 等 院 校 莽 师 们 反映 的 各 种 意见 , 我 们 次 定 引 进 “ 困 外 电子 与 
通信 教材 系列 "， 并 随后 开展 了 大 基准 备 工 作 :, 此 次 引进 的 国外 电子 与 通 六 教材 均 来 自 锋 际 著名 出 
版 商 . 其 中 影印 教材 约 占 一 学. 教材 内 容 涉 有 的 学 科 方 向 包括 电路 理论 与 应 用 . 信号 与 系统 ,数字 
信 叶 处理 、 油 电子 、 通 信和 系统 、 电 磁场 与 微波 等 ,其 中 此 有 本 科 专 业 课 程 教材 , 也 有 研究 生 课 程 教 
材 , 以 适应 不 同 院 系 、 不同 专业 、 不同 层 次 的 师 生 对 教材 的 需求 , 广大 师 生 可 自由 选择 和 自由 组 会 
使 用 。 我 们 还 将 与 国外 出 版 商 - -起 ， 陆 续 推 出 一 些 教材 的 教学 支持 资料 ， 为 授课 教师 提供 帮助 。 

此 外 , “国外 电子 与 通信 教材 系列 ”的 引进 和 出 版 工作 得 到 了 教育 部 尚 等 教育 司 的 大 力 支 持 和 
帮助 ， 其 中 的 部 分 引进 教材 已 通过 “教育 部 高 等 学 校 电子 信息 科学 与 工程 类 专业 教学 指导 委员 会 ” 
的 审核 , 并 得 到 教育 部 高 等 教育 司 的 批准 , 纳入 了 "教育 部 高 等 教育 司 推荐 一 一 国外 优秀 信息 科学 
与 技术 系列 教学 用 P” 

为 做 好 该 系列 教材 的 翻译 上 作 , 我 们 聘请 了 清华 大 学 、 北京 大 学 、 北京 邮电 大 学 、 东 南大 学、 
西安 交通 大 学 , 天 津 大 学 . 西安 电子 科技 大 学 . 电子 科技 大 学 等 著名 高 校 的 教授 和 骨干 教师 参与 教 
材 的 翻译 和 审 校 工作 ,许多 教授 在 国内 电子 与 通信 专业 领域 享有 较 高 的 声望 ,具有 丰富 的 教学 经 验 ， 
他 们 的 渊博 学 识 从 根本 上 保证 了 教材 的 翻译 质量 和 专业 学 术 方 面 的 严格 与 准确 .我 们 在 此 对 他 们 的 
辛勤 工作 与 贡献 表示 惠 心 的 感谢 。 此 外 ,对 于 编辑 的 选择 , 我 们 达到 了 专业 对 口 ; 对 于 从 美文 原 书 
中 发 现 的 错误 , 我 们 通过 与 作者 联络 、 从 网 上 下 载 期 误 表 等 方式 , 逐一 进行 了 修订 ; 同时 , 我 们 对 
审 校 、 排 版 、 印 制 质 基 进 行 了 严格 把 关 。 

今后 ,我 们 将 进 --- 步 加 强 问 各 高 校 教师 的 密切 关系 ,努力 引进 更 多 的 国外 优秀 教材 和 教学 参考 
B. 为 我 国电 子 与 通信 教材 达到 世界 先进 水 平 而 努力 - 由 于 我 们 对 国内 外 电子 与 通信 教育 的 发 展 仍 
存在 一 些 认识 上 的 不 足 , 在 选 题 . 翻译 ,出 版 等 方面 的 工作 中 述 有 许多 需要 改进 的 地 方 , BA A 
师 生 和 读者 提出 批评 其 建议。 
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教材 出 版 委员 会 
中 国 工程 院 院士 、 清 华 大 学 教授 
北京 邮电 大 学 校长 教授 、 博 士 生 导 师 


总 参 通 信 部 副 部 长 、 中 国电 子 学 会 会 士 、 副 理事 长 
中 国 通信 学 会 常务 理事 


清华 大 学 教授 、 博士 生 导 师 、 电子 十 程 系 副 主任 、 通信 与 微波 研究 所 所 长 


教育 部 电子 信息 科学 与 工程 类 专业 教学 指导 委员 会 委员 
北京 大 学 教授 、 博 十 生 导 师 、 电 子 学 系 副 主任 

教育 部 电子 信息 与 电气 学 科教 学 指导 委员 会 委员 

西安 电子 科技 大 学 教授 、 博 士 生 导师 

中 国 通信 学 会 理事 、IEEF 会 士 

东南 大 学 教授 、 博 士 生 导 师 

移动 通信 国家 重点 实验 室 主 任 

天 津 大 学 副 和 校长、 教授、 博士 生 有 导师 

教育 部 电子 信息 科学 与 工程 类 专业 教学 指导 委员 会 委员 
北方 交通 大 学 教授 、 博 士 生 导师 

计算 机 与 信息 技术 学 院 院 长 、 信 息 科 学 研究 所 所 长 

北京 航空 航天 大 学 教授 、 博 士 生 导 师 、 电 子 工程 系 主 尾 
教育 部 电子 信息 科学 与 电气 信息 类 基础 课程 教学 指导 委员 会 委员 
南京 邮电 学 院 副 院 长 、 教 授 、 博 士 生 导师 

教育 部 电子 信息 与 电气 学 科教 学 指导 委员 会 委员 

西安 交通 大 学 教授 、 博 士 生 导师 、 电 子 与 信息 工程 学 院 院 长 
教育 部 电子 信息 科学 与 工程 类 专业 教学 指导 委员 会 委员 
电子 科技 大 学 教授 、 博 士 生 导 师 、 通 信和 与 信息 工程 学 院 院 长 
教育 部 电子 信息 科学 与 电气 信息 类 基础 课程 教学 指导 委员 会 委员 
上 海 交 通 大 学 教授 、 博 士 生 导 师 、 电 子 信息 学 院 融 院 长 
教育 部 电子 信息 与 电气 学 科教 学 指导 委员 会 委员 
北京 邮电 大 学 教授 、 教 材 建设 委员 会 主任 

原 邮 电 科学 研究 院 副 院 长 、 总 工程 师 

中 国 通信 学 会 副 理 事 长 、 秘 书 长 

电子 工业 出 版 杜 副 社 长 


关于 《 自 适应 滤波 器 原理 》 一 书 


自 适 应 信号 处 理 是 信 坊 与 信息 处 理学 科 一 个 新 的 重要 学 科 分 支 。 
是” 自 适应 滤波 理论 和 技术 是 统计 信号 处 理 的 重要 组 成 部 分 。 它 可 以 在 天 
于 需 先 验 知识 的 条 件 下 ,通过 自学 半 适 应 或 跟踪 外 部 环境 的 非 平稳 随机 
和 变化 ,并 最 终 通 近 维 纳 浊 波 器 和 卡尔 曼 浊 波 器 的 最 优 滤波 性 能 。 因 此 ， 
O 自 适 应 滤波 器 成 功 地 应 用 于 通信 控制、 雷达 、 声 纳 地震 和 生物 医学 工 
O 程 等 领域 。 本 书 系统 全 面 地 介绍 了 这 方面 的 基本 理论 和 应 用 技术 , 充 
分 反映 了 该 领域 的 最 新 成 果 , 取 材 新 颖 、 内 容 丰富 ,概念 清楚 论述 严 
说 ,是 自 适应 信号 处 理 领域 一 部 紧 眼 时 代 的 佳作 。 本 书 在 章节 内 容 安 
排 方面 也 颇 有 特色 :在 对 自 适应 滤波 器 做 综述 性 预览 之 后 ,按照 数学 基 





础 .线性 滤波 非 线 性 滤波 三 大 部 分 和 横向 格 型 .脉动 阵列 三 种 结构 进行 深入 讨论 ,并 以 自 适 
应 均衡 器 和 自 适应 波束 形成 作为 典型 应 用 示例 ,比较 了 自 适 应 滤波 器 的 不 同 算法 和 不 同 结构 
的 性 能 ,最 后 以 对 新 技术 进行 展望 的 后记" 作为 结束 。 本 书 的 内 容 要 点 如 下 : 


o 随机 信和 号 处 理 的 数学 基础 :随机 过 程 与 模型 。 

o 自 适应 滤波 器 基础 : 维 纳 最 优 滤波 和 线性 预测 理论 。 

o 最 小 均 方 (LMS) 自 适应 滤波 器 :包括 从 最 速 下 降 算 法 到 LMS 算法 ,从 LMS 自 适 应 滤波 器 
到 归 一 化 LMS 滤波 器 ， 从 横向 结构 到 格 型 结构 ;还 包括 频 域 和 子 带 自 适应 滤波 器 。 

o 递归 最 小 二 乘 (RILS) 自 适应 滤波 器 :以 卡尔 曼 滤 波 理论 为 主线 ,贯穿 从 最 小 二 乘法 到 RLS 
自 适应 滤波 再 到 平方 根 最 小 二 乘 滤波 ,从 横向 结构 到 脉动 阵列 再 到 格 型 结构 等 内 容 。 

se 自 适应 无 限 脉冲 响应 滤波 器 :输出 误差 法 和 方程 误差 法 自 适应 滤波 器 以 及 结合 有 限 脉 
冲 响应 (FR) 结 构 和 无 限 脉冲 响应 (0R) 结 构 期 望 特 性 的 Laguerre 自 适应 滤波 融 。 

e 有 限 精度 效应 。 

9 时 变 系统 限 野 。 

e 基于 盲 反 卷 积 的 盲 自 适应 滤波 器 。 

© 基于 反 向 传播 算法 的 神经 网 络 非 线 性 自 适 应 滤波 右 。 


本 书面 向 本 领域 的 高 年 级 本 科 生 和 研究 生 系统 讲解 自 适应 滤波 器 理论 ,也 为 相关 领域 的 


工程 技术 人 员 提 供 了 利用 该 理论 解决 实际 问题 的 有 效 方 法 。 因 此 ,本 书 很 适合 于 通信 与 电子 
信息 类 相关 专业 的 高 年 级 本 科 生 MRE 教师 及 工程 技术 人 员 阅 读 。 


南京 邮电 学 院 教授 
Be oe 
南京 邮电 学 院 副 院 长 I HB 
中 国 通信 学 会 通信 理论 与 信号 处 理 专业 委员 会 主任 委员 


译 者 序 


随 着 信号 处 理学 科 领 域 理 论 与 技术 的 不 断 进 步 , 自 适 应 信号 处 理 已 成 为 信号 与 信息 处 理 
学 科 一 个 新 的 重要 学 科 分 支 ,并 在 诸如 通信 、 雷 达 、 声 纳 、 工 业 控 制 、 地 震 勘 探 及 生物 医学 工程 
等 领域 获得 越 来 越 广泛 的 应 用 ,与 之 相关 的 研究 文献 及 论著 也 不 断 问世 。 由 国际 其 名 学 者 西 
52 + tk (Simon Haykin) 教 授 所 著 .并 为 我 国 广大 读者 所 熟悉 的 &《 自 适应 滤波 器 原理 ?一 书 , 堪 称 
反 跨 自 适应 信号 处 理 当今 水 平 的 一 部 佳作 。 

该 书 自 第 一 版 1986 年 问世 以 来 , 短 短 十 余年 时 间 , 蕊 出 四 版 。 从 第 一 版 仅仅 涉及 常规 自 
适应 滤波 ,到 第 二 版 引入 育 自 适应 方法 ,再 到 第 三 版 引入 神经 网 络 自 适应 滤波 ,直到 第 四 版 的 
进一步 修订 ,始终 贯穿 着 一 条 基本 脉络 ;体系 僵 加 合理 ,日 笃 完 善 ; 内 容 紧 服 时 代 , 不 断 更 新 。 
正 因为 这 样 ,该 书信 受 读者 欢迎 ,影响 与 日 俱 增 ,赢得 很 高 的 声誉 。 相 信 该 书 第 四 版 肥 共 中 详 
本 的 出 版 , 必 将 对 目前 我 国 高 校 相关 课程 体系 和 内 容 改 革 起 到 一 定 的 借鉴 作用 。 

该 书 第 四 版 除 保持 原 书 构思 新 颖 、 取 材 得 当 , 论 述 严 谍 , 条 理 清 楚 等 特色 外 ,在 某 些 方面 又 
有 所 加 强 , 但 其 涉及 的 主要 内 容 和 该 书 的 适用 范围 没有 大 的 变化 。 撤 据 译 者 近 10 来 使 用 该 书 
所 积累 的 经 验 , 再 结合 第 四 版 翻译 过 程 的 体会 来 看 ,新 版 本 至 少 有 以 下 几 个 特点 : 


© 完善 体系 结构 ,强化 数学 基础 。 
se 新 颖 性 、 系 统 性 与 实用 性 的 紧密 结合 。 
9 突出 通信 信号 处 理应 用 。 


本 书 由 郑 宝 玉 教 授 主 持 翻 译 ,并 负责 全 书 统 稿 和 审 校 。 在 本 书 翻 译 过 程 中 ,得 到 多 方面 的 
支持 和 帮助 。 除 主持 者 外 ,为 本 书 提供 初稿 和 作 贡 贡献 的 还 有 : 张 继 东 RT KE ERE 
PAA EL . 杨 力 波 等 研究 生 。 电 子 工业 出 版 社 的 各 级 领 寻 和 编辑 为 本 书 的 出 版 
付出 了 辛勤 的 劳动 , 借 此 机 会 ,表示 诚挚 的 谢意 。 由 于 全 书 篇 幅 太 大 ,时间 仓促 ,加 之 译 考 水 平 
有 限 , 错 误 和 不 及 之 处 在 所 难免 , 感 望 读者 批评 指正 。 
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Aa Rat fas PB), AL ER EF aA 
结果 所 产生 的 信号 或 需要 处 理 非 平稳 信号 时 , 自 适应 滤波 器 可 提供 一 种 十 分 吸引 人 的 解决 方 
法 ,而 且 其 性 能 通常 远 优 于 用 常规 方法 设计 的 固定 滤波 器 。 此 外 , 自 适 应 滤波 器 还 能 提供 非 自 
适应 方法 所 不 可 能 提供 的 新 的 信号 处 理 能 力 。 因 此 , 自 适 应 滤波 器 成 功 地 应 用 于 诸如 通信 、 控 
制 . 雷 达 . 声 纳 、 地 震 和 生物 医学 工程 等 诸多 领域 。 


本 书目 的 


本 书 基本 目的 是 研究 各 种 线性 自 适应 滤波 器 的 数学 原理 。 自 适应 功能 根据 输入 数据 调整 
滤波 器 中 自由 参数 (系数 ) 来 实现 ,从 而 使 得 自 适应 滤波 器 实际 上 是 非 线 性 的 。 我 们 说 自 适 应 
滤波 器 是 线性 的 , 指 的 是 如 下 含义 ;无 论 何 时 滤波 器 的 输入 -输出 映射 都 遵循 释 加 原理 ,并 日 在 
任 一 特定 时 刻 滤 波 器 的 参数 都 是 固定 的 。 

对 线性 自 适 应 滤波 问题 ,并 不 存在 惟一 的 解 ; 但 存在 由 各 种 递归 算法 所 表示 的 一 套 工 具 ， 
每 一 工具 给 出 它 所 拥有 的 期 望 特性 。 本 书 提供 了 这 样 一 套 工具 ,并 且 对 作为 非 线性 自 适应 滤 
波 基础 的 人 工 神 经 网 络 做 了 介绍 。 

关于 背景 部 分 ,假设 读者 已 学 过 概率 论 .数字 信号 处 理 等 大 学 本 科 的 导论 性 课程 以 及 通信 
和 控制 系统 等 先 修 课程 。 


EPAR 


本 书 绪论 部 分 从 一 般 性 地 讨论 自 送 应 滤波 器 的 运算 及 其 不 同形 式 开始 ,并 以 其 发 展 历史 
的 注释 作为 结束 。 其 目的 是 想 通 过 该 课题 的 丰富 历史 ,向 那些 对 该 领域 感 兴趣 并 有 志 潜 心 钴 
研 的 读者 追 湖 这 些 研究 动机 的 由 来 。 该 部 分 引 人 的 概念 和 算法 将 在 本 书后 续 富 节 中 详细 
HE. 

本 书 主要 章节 共 17 章 ,具体 安排 如 下 


随机 过 程 与 模型 ”这 方 而 的 内 容 在 第 1 章 中 介绍 ,着 重 讲解 平稳 随机 过 程 的 部 分 特征 
(如 二 阶 统计 描述 )。 它 是 本 书 其 余部 分 内 容 的 主要 基础 。 

昌 维 纳 {Wiener) 滤 波 器 理论 及 其 在 线性 预测 中 的 应 用 ” 维 纳 滤波 器 在 第 2 章 中 介绍 , 它 定 
义 了 平稳 环境 下 的 最 优 线 性 淡 波 器 ,因此 提供 了 学 习 研 究 自 适应 滤波 器 的 基础 。 第 3 
章 讲述 了 线性 预测 理论 ,着 重 讨论 了 前 向 预测 和 后 向 预测 及 其 变种 ,并 以 线性 预测 在 语 
音 编码 中 的 应 用 作为 该 章 的 结束 。 

@ 最 小 均 方 (LMS,least-mean-aquare) 族 自 适 应 滤波 器 LMS 滤波 器 是 以 横向 ( 即 抽 涉 延迟 
线 ) 结 构 为 基础 构建 的 。 其 最 基本 的 形式 设计 简单 ,性 能 也 高 度 有 效 。 这 两 个 特性 使 得 
LMS 滤波 器 在 各 种 应 用 中 非常 流行 。 第 4 章 介绍 了 一 种 古老 的 最 优化 技术 一 一 最 速 下 

"和 


降 法 的 基础 , 据 此 导出 LMS 滤波 器 。 第 5 章 详 细 论述 了 LMS 滤波 器 理论 和 应 用 的 方 方 

He Ae Aas : 

{i 小 步 蕉 统计 理论 。 它 较 好 地 描述 了 步 长 参数 到 很 小 值 时 LMS 滤波 器 的 过 滤 特 
性 及 其 学 习 则 线 。 这 个 新 理论 (来 源 于 非 平衡 热力 学 中 的 Langevin 方程 ) 避 免 
了 LMS 滤波 器 研究 中 传统 上 采用 的 独立 性 理论 (independence theory) 所 做 的 不 
切实 际 的 假说 。 计 算 机 模拟 证 明了 小 步 长 理论 的 结果 与 实验 结果 之 问 的 紧密 
一 致 。 

Gi) H” 理论 。 它 提供 了 LMS WE 35) eB BEE ( deterministic robustness) 的 数学 
基础 。 

第 6 章 各 第 7 AI ET LMS 滤波 器 的 LMS 族 。 这 一 点 是 通过 详细 论述 归 一 化 LMS 滤 

波 器 、 仿 射 投影 自 适应 号 波 器 、 频 域 和 子 带 自 适应 谈 波 器 来 实现 的 ;其 中 , 仿 射 役 影 滤波 

器 是 介子 归 一 化 LMS 滤波 器 与 递归 最 小 二 乘 滤 波 器 之 间 的 滤波 器 。 

a Fs — (RLS, recursive jeast-squares) 自 适应 滤波 器 ”RIS 滤波 器 由 于 可 提供 快 收 

化 速率 而 且 对 输入 信 身 相关 矩阵 特征 值 扩散 度 变化 不 敏感 ,从 而 克服 了 LMS 族 的 某 些 

实际 限制 ;其 代价 是 增加 了 计算 的 复杂 性 。 第 8 章 讨 论 了 最 小 二 乘法 , 它 可 看 做 源 于 随 

机 过 程 的 维 纳 滤波 器 的 确定 性 揽 本 。 在 最 小 二 蒋 法 中 ,输入 数据 以 抉 接 志 为 基础 进行 

处 理 。 目 前 ,其 数值 计算 复杂 性 过 去 不 被 重视 的 分 块 方法 正 日 益 引 起 人 们 的 关注 ,这 应 

该 归功 于 数字 计算 机 技术 的 不 断 进步 。 第 9 章 介 绍 如 何 构 造 最 小 二 乘法 ,并 运用 矩阵 

求 逆 引 理 导 出 RLS 滤波 器 。 该 章 的 要 点 是 ; 

(Gi) RIS 滤波 器 的 统计 理论 。 
(ii) RS RA RH HRH, 

实际 .上 ,RIS AENEA EEA HAERES FRE ( Kalman) EEA 

i. At, REMER FERR ERREG (th OP FOE HEA H 

例 ) 是 十 分 重要 的 。 第 10 章 讨论 了 卡尔 紧 滤 波 器 的 推导 、 它 的 变种 和 推广 。 该 章 也 确 

立 了 卡尔 曼 滤 波 器 与 RLS 滤波 器 之 间 的 一 一 对 应 关系 ,从 而 握 供 了 整 族 RIS RRB 

一 论述 的 框架 。 第 11 BL Givens 旋转 为 基础 ,推导 平方 根 FLS 滤波 器 的 平方 根 信 息 和 

协 方 差 形式 ,从 而 克服 了 原 RLS 滤波 儒 数 字 实 现 中 所 过 到 的 数值 困难 。 第 12 章 以 阶 递 

归 滤 波 器 为 基础 ,并 述 了 自 适 应 滤波 器 设计 中 类 似 于 格 型 的 结构 。 这 种 滤波 器 具有 类 

似 于 LMS 滤波 器 的 计算 复杂 性 ,其 复杂 性 改进 通过 利用 饰 态 处 理 所 固 有 的 时 称 特 性 获 

得 。 第 二 章 还 介绍 了 梯度 自 适 应 格 型 (CAL, gradient adaptive latice) 算 法 和 基于 QR 分 

$B A) Se A (ORD-LSL, QR-decomposition-based least-squares lattice) 算 法 的 推导 , 它 

们 分 别 是 计算 方面 最 简单 和 性 能 方 而 最 强 有 力 的 算法 。 

@ 有 限 精 度 效 应 ”贯穿 第 5 章 到 第 12 章 的 自 适应 滤波 器 理论 以 无 限 精 度 运算 为 基础 。 
然而 , 当 用 数字 形式 实现 自 适 应 滤波 器 时 ,将 产生 由 有 限 精 度 运 算 引 起 的 有 限 精 度 效 
应 。 第 13 章 讨 论 了 LMS 和 RLS 滤波 器 数字 实现 时 的 有 限 精度 效应 。 

on TAARR 第 14 章 通过 计算 和 和 比较 运行 在 非 平稳 环境 [假设 为 马尔 可 兴 (Markov) 
模型 ] 下 的 LMS 和 RLS 渡 波 器 的 人 性 能 ,扩展 了 这 两 种 滤波 器 理论 。 在 该 章 中 运用 广义 
卡尔 曼 滤波 器 导出 修正 型 RIS 滤波 器 ,其 最 优 性 在 非 平 稳 环 境 下 超过 LMS 滤波 器 。 这 
一 章 在 导出 具有 自 适 应 记忆 (用 来 递归 调整 LMS 滤波 器 的 步 长 参数 和 RLS 滤波 器 的 指 


~ Fe 


数 加 权 因 子 ? 的 新 型 LMS 和 RLS 滤波 器 后 结束 。 

e 无限 脉冲 响应 自 适 应 滤波 器 ”第 5 章 到 第 14 章 讨 论 的 线性 自 适 应 波谱 器 都 是 由 有 限 
和 脉 神 响应 表征 的 横向 结构 或 格 卉 结构 滤波 器 。 第 15 章 主要 介绍 设计 无 跟 脉 冲 响应 
(IIR, Infinite-duration impulse response) 自 适应 滤 被 右 的 输出 误差 法 和 方程 误差 法 ,而 生 讨 
论 了 在 它们 的 应 腹 中 可 能 发 生 的 实际 问题 。 该 章 还 叙述 了 结合 FIR 和 IR 结构 期 望 特 
性 的 Laguerre 自 适 应 滤波 器 。 

全 育 反 卷 积 第 5 章 至 第 15 章 研 究 的 线性 自 适 应 滤波 内 都 假设 可 得 到 期 望 响 应 ,该 响 
应 在 训练 时 用 来 引导 让 波峰 自由 参数 的 自 适 应 。 当 得 不 到 期 望 响 庶 时 ,必须 求助 于 
GAH EEM HAE AR RA. Alo 童 讨论 了 两 种 基本 的 育 反 着 积 
HA: 
$9 基于 二 阶 统计 的 子 空间 分 解 算法 , 它 利 用 了 通信 信道 上 包含 数据 传输 的 应 用 中 调制 

信号 的 循环 平稳 特性 。 

® Bussgang 算法 , 它 利 用 了 通信 信道 输出 端 接收 信号 的 高 阶 统计 特性 。 

® Bussgang 分 数 间 隔 均衡 器 的 讨论 作为 这 一 章 的 结束 ,在 该 均衡 器 中 育 反 卷 积 的 两 个 主 
要 课题 被 结合 在 一 起 。 

CR MERE D ”由 非 线性 处 理 单元 构建 的 神经 网 络 为 解决 各 种 非 线性 自 适 应 旋 诈 难题 
提供 了 强 有 力 的 工具 。 具 有 一 个 或 多 个 隐 处 理 单元 层 的 多 层 感 知 器 组 成 一 类 重要 的 神 
经 网 络 。 第 17 章 导 出 了 密 层 感知 器 监督 学 习 的 反问 传播 算法 ,该 算法 可 看 做 LMS 算法 
的 一 种 推广 。 访 章 所 介绍 内 容 的 新 强 性 在 于 罕 出 反 身 传播 算法 的 复数 形式 , 它 与 本 书 
的 余下 部 分 相 一 致 。 


本 书 以 后 记 作 为 结束 。 后 记 主 要 讨论 了 如 下 五 个 专题 : 


多 均衡 的 自 适应 

© 鲁 棒 性 统计 

9 ERRIA 

o 动态 驱动 的 递归 神经 网 络 

© 无 偏 状 态 估 计 和 非 线性 动态 系统 

包括 这 些 内 容 是 为 了 把 自 适应 证 波 器 这 一 主题 的 一 个 更 加 完整 的 蓝图 提供 给 该 者 。 
本 书 还 包括 如 下 附录 : 


© 复 变 函 数论 

© 对 向 量 微分 

e $t bH H (Lagrange) ET YE 

+ 居 计 理论 

© 特征 分 析 

@ 旋转 与 有 反射 

o 复数 维 萨 特 ( Wishart) 分 布 

在 本 书 的 不 同 部 分 ,其 应 用 由 在 这 些 章节 中 介绍 的 基本 思想 组 成 。 


辅助 材料 


e 本 书 还 包括 一 个 术语 表 : 由 一 系列 定义 .记号 ,规定 ,缩写 利 书 中 涉及 的 主要 符号 组 成 。 
9 本 书 参 考 的 所 有 出 版 物 汇编 在 “参考 文献 ”中 。 每 篇 参考 文献 包括 作者 姓名 和 出 版 年 
份 。 为 完整 起 见 , 还 询 出 大 量 其 他 补充 参考 资料 。 


例题 习题 与 计算 机 实验 


本 书 的 各 个 章节 包括 大 量 例 题 ,用 来 说 明 新 讨论 的 概念 和 原理 。 

本 书 还 包括 许多 计算 机 实验 。 开 发 这 些 实验 的 目的 是 为 了 更 好 地 说 明 LMS 算法 和 RLS 
算法 的 基础 理论 与 应 用 。 这 些 实验 可 帮助 读者 比较 两 种 线性 自 适应 恋 波 算法 族 的 性 能 。 

本 书 每 一 章 (除了 绪论 人 外) 以 习题 作为 结束 。 这 出 于 两 点 考虑 : 


© 帮助 读者 更 深 地 理解 该 章 所 包含 的 内 容 。 
9 鞭策 读者 拓展 该 章 中 讨论 的 原理 和 方法 。 


解 题 指南 


本 书 还 附 有 对 第 1 章 至 第 17 章 所 有 习题 进行 详细 解答 的 解 题 指南 。 采 用 本 书 作为 教材 
使 用 的 教师 ,可 直接 向 出 版 商 索 联 该 指南 的 副本 ( 昂 本 书 末 的 "教学 支持 说 明 " 页 一 一 编者 注 )。 
所 有 计算 机 实验 的 MATLAB 代码 ,可 在 网 站 http: //wew. prenhall . com/haykin/ 上 获得 。 


使 用 说 明 


本 书 是 按 自 适应 信号 处 理 研究 生 课 程 的 水 平 编写 的 。 在 这 个 范围 内 ,本 书 材料 的 组 织 为 
读者 选择 适合 这 一 主题 的 感 兴趣 内 容 提 供 了 了 很 大 的 灵活 性 。 

我 们 希望 本 书 对 产业 界 的 研究 者 和 工程 师 以 及 工作 在 与 自 适 应 店 波 器 理论 和 应 用 有 关 的 
政府 行政 机 关 的 人 员 也 是 有 用 的 。 
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背景 与 预览 


滤波 问题 


估计 器 或 滤波 器 这 一 术语 通常 用 来 称呼 一 个 系统 ,设计 这 样 的 系统 是 为 了 从 含有 噪声 的 
数据 中 提取 人 们 感 兴 趣 的 .接近 规定 质量 的 信息 : 由 于 这 样 一 个 宽 目 标 ,估计 理论 应 用 于 诸如 
通信 .雷达 、 声 纳 .导航 .地震 学 ,生物 虚 学 工程 .金融 工程 等 众多 不 同 领域 。 例 如 ,考虑 一 个 数 
字 通 信 系 统 , 其 基本 形式 由 发 射 机 、 信 道 和 接收 机 连接 组 成 ,如 图 1 所 示 。 发 射 机 的 作用 是 把 
数字 源 ( 例 如 计算 机 ) 产 生 的 由 0.1 符号 序列 组 成 的 消息 信号 变换 为 适合 于 信道 上 传送 的 波 
形 。 典 型 地 ,信道 主要 受到 下 列 两 种 损伤 ; 

o 符号 间 千 扰 ”理想 上 ,线性 传输 媒介 定义 为 

hit) = A(t — T) (1) 
式 中 上 表示 连续 时 间 Aa Fea ep YA AREA EA, OC 2) E Dirac 6 ea AY 
单位 脉冲 函数 ) ,= 表示 信号 沿 信 道 传送 过 程 中 所 产生 的 传播 时 延 。 式 (1) 是 某 一 理想 
传输 媒介 的 时 域 描述 。 等 效 地 ,我 们 可 以 在 频 域 表 征 它 ,并 与 为 
HUw) = Aexp(—jer) (2) 
式 中 /是 -1 的 平方 根 ,w 表示 角 频 率 ,H(j wo) 是 传输 媒介 的 频率 响应 ,而 epl ) 表 示 
指数 函数 。 实 际 上 , 对 任何 物理 信道 ,不 可 能 满足 由 式 (1) 给 上 出 的 理想 时 域 描述 [或 式 
(2) 等 效 频 域 描述 ] 所 包含 的 严格 要 求 。 我 们 尽 最 大 努力 所 能 做 到 的 ,也 只 是 在 表示 发 
送信 和 号 基本 谱 内容 的 频带 上 逼近 式 (2) , 它 将 使 物理 信道 发 生 色 散 (dispersive}。 在 数字 
通信 系统 中 ,这 种 信道 损伤 将 引起 符号 间 干 扰 (intersymbol interference) ,由 此 造成 紧 接 者 
的 脉冲 (表示 1.0 发 送 序列 ) 相 下 问 模糊 不 清 , 以 致 于 它们 不 再 可 区 分 。 

s48 其 种 形式 的 噪声 出 现在 每 个 通信 信道 的 输出 端 。 该 噪声 可 以 是 系统 内 部 的 (由 

接收 机 前 端 放 大 器 产生 的 热 噪声 ) ,或 系统 外 部 的 (由 其 他 信 源 产生 的 干扰 信号 )。 


这 两 种 损伤 的 最 终结 果 是 ,信道 输出 端 收 到 的 信号 是 含有 只 声 的 或 失真 的 发 送信 号 。 接 
收 机 的 作用 是 ,操作 接收 信号 并 把 原 消息 信号 的 一 个 可 靠 估 值 传递 给 系统 输出 端的 某 个 用 户 。 


消息 信号 发 送信 号 接收 信号 





Al 通信 系统 框图 
作为 涉及 滤波 器 理论 应 用 的 另 一 个 例子 ,考虑 图 2 所 示 的 情况 。 图 中 表示 一 个 连续 时 间 
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动态 系统 ,其 ;时刻 的 状态 由 多 维 向 量 xC 与 表示 。 描 述 状态 x( 41) 演 变 的 方程 通常 受到 系统 误 
莱 的 影响 。 滤 波 问 题 是 复杂 的 ,因为 xt) 蚌 隐 芯 的 而 且 能 够 观测 它 的 惟一 方法 是 通过 间接 测 
量 ,其 测量 方程 是 状态 x() 自 身 的 函数 。 再 则 ,该 测量 方程 不 可 避免 地 受到 它 所 拥有 的 品 疡 
的 影响 。 图 2 所 找 述 的 动态 系统 可 以 是 飞行 中 的 飞机 ,在 这 种 情况 下 ,飞机 的 位 置 和 速度 组 成 
状态 x( 几 的 元 素 , 而 测量 系统 可 以 是 跟 申 雷达 。 总 之 ,给 定 测量 系统 在 间隔 10, 了] 内 产生 的 可 
测 向 量 y(:) 及 先 验 信息 ,我 们 的 要 求 是 估计 动态 系统 的 状态 x(4)。 


Rak 
titt 
Kir) 





系统 误差 AERE 先 验 信息 


图 2 斤 给 状态 估计 中 所 涉及 成 分 的 框图 
上 述 两 个 例子 所 阐明 的 估计 理论 实际 上 是 统计 的 ,因为 不 可 避免 地 存在 影响 所 研究 系统 
正常 运行 的 噪声 或 系统 误差 。 
三 种 基本 估计 
三 种 基本 的 信息 处 理 运算 是 滤波 .平滑 和 预测 ,每 一 种 运算 由 某 一 佑 计 器 来 元 成 。 这 些 运 
算 之 间 的 差异 用 图 3 来 说 明 。 





:时 刻 用 于 被 波 
$y Fae I 
于 介 
HA ! 
(a) 滤波 
+ 时刻 用 于 平滑 
fey ay Fed I 0 


E 

(OFF 

Ht THM 
ORY ay FA OT 


(9 预测 
图 3 估计 基本 形式 示 坊 图 


e $A (filtering) 它 是 用 :时刻 及 以 前 的 数据 来 提取 或 估计 1: 时刻 感 兴趣 信息 的 一 种 运 
算 过 程 。 

© 平滑 (samoothing) 它 是 一 种 后 验 形式 的 估计 ,因为 在 感 兴趣 时 刻 之 后 观测 数据 用 于 这 
种 估计 。 特 别 地 ,时 刻 的 平 清 估 计 可 利用 时 间 间 隔 [0,t](# < 由 内 的 观测 数据 来 获 
得 。 因 而 在 平滑 合计 的 计算 中 ,包含 有 1 -+ 的 时 延 。 由 等 待 更 多 数据 积累 所 获得 的 效 
益 是 ,平滑 能 够 得 至 比 滤波 更 精确 的 佑 值 。 

e FAM (prediction) 它 是 估计 的 预测 方面 。 其 目的 是 用 ; 时 刻 及 以 前 的 数据 来 推出 未 来 
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由 图 3 可 以 明显 看 出 ,滤波 和 预测 是 实时 运算 ,而 平滑 是 非 实时 的 。 实 时 运算 意 指 在 该 运 
算 中 ,以 当前 可 得 到 的 数据 为 基础 完成 人 们 感 兴 趣 的 估计 。 


线性 最 优 滤波 器 


滤波 器 可 分 为 线性 滤波 名 和 非 线性 滤波 名 两 种 。 若 滤波 器 输出 端 滤 波 .平滑 或 预测 的 量 
是 它 的 输入 观测 景 的 线性 函数 , 则 认为 该 证 波 器 是 线性 的 :否则 ,认为 该 滤波 器 是 非 线性 的 。 

在 解 线性 滤波 问题 的 统计 方法 中 ,通常 假设 已 知 有 用 信和 叶 及 其 奉 加 噪声 的 某 些 统计 参数 
(例如 ,均值 和 自 相 关 霄 数 ) ,而 且 需 要 设计 含 陪 数据 作为 其 输入 的 线性 滤波 器 ,使 得 根据 茶 种 
统计 准则 噪声 对 滤波 器 的 影响 最 小 。 实 现 该 滤波 器 优化 问题 的 一 个 有 用 方法 是 使 误差 信和 号 
(定义 为 期 望 响应 与 洪波 器 实际 输出 之 差 ) 的 均 方 值 最 小 化 。 对 于 平稳 输入 ,其 解决 方案 通常 
称 为 维 纳 滤波 器 ( Wiener 他 ier)。 该 滤波 器 在 均 方 旋 差 意义 上 是 最 优 的。 误差 信号 均 方 值 相对 
于 线性 滤波 器 可 调 参数 的 曲线 通常 称 为 误差 性 能 曲面 。 该 则 面 的 极 小 点 即 为 维 纳 解 。 

维 纳 滤波 器 不 适合 于 应 对 信和 号 和 /或 品 声 的 非 平 稳 性 是 问题 所 固有 的 情况 。 在 这 种 情况 
下 ,必须 假设 最 优 滤波 器 为 时 变形 式 。 对 于 这 个 更 加 困难 的 问题 ,十 分 成 功 的 一 个 解决 方案 是 
RAF EEA Kalman filter)。 该 滤波 器 在 各 种 工程 应 用 中 是 一 个 绰 有 力 的 系统 。 

包括 维 纳 滤 波 器 和 卡尔 癌 滤 波 器 的 线性 涨 波 器 埋 论 已 经 在 连续 时 间 信 号 和 离散 时 间 信 号 
文献 中 获得 广泛 的 研究 。 然 而 ,由 于 数字 计算 机 的 广泛 普及 和 数字 信号 处 理 器 件 与 日 俱 增 的 
应 用 等 技术 原因 ,离散 时 间 线性 滤波 器 通常 更 为 人 们 所 乐意 使 用 。 因 此 ,在 后 续 章节 中 ,我 们 
仅仅 考 虚 离散 时 间 形 式 的 维 纳 滤波 器 和 卡尔 曼 滤波 器 。 在 这 种 形式 中 ,输入 和 输出 信号 ,以 及 
滤波 器 自身 特征 都 定义 在 时 间 的 离散 时 刻 。 在 任何 情况 下 ,连续 时 间 信 号 总 可 由 均匀 时 间 间 
也 观 测 信 号 定义 的 一 系列 样 值 来 表示 。 在 从 连续 时 间 信 号 到 离散 时 间 信 号 的 变换 过 程 中 并 不 
会 发 生 信息 丢失 ,只 需要 满足 众所周知 的 取样 定理 。 该 定理 表明 ,取样 率 必 须 高 于 两 倍 的 连续 
时 间 信 和 号 最 高 频率 。 因 此 ,我 们 用 序列 u(n)(n =0,+1,+2,..,) 来 表示 离散 时 间 信 号 ule). 
为 方便 起 见 ,这 里 把 取样 周期 归 一 化 为 1。 这 一 约定 将 贯穿 全 书 。 
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维 纳 滤波 器 的 设计 要 求 所 要 处 理 的 数据 统计 方面 的 先 验 知识 。 只 有 当 输 入 数据 的 统计 特 
性 与 滤波 器 设计 所 依赖 的 某 一 先 验 知识 匹配 时 ,该 滤波 器 才 是 最 优 的 。 当 这 个 信息 完全 未 知 
时 ,就 未 可 能 设计 维 纳 滤波 器 ,或 者 该 设计 不 再 是 最 优 的 。 在 这 种 情况 下 ,可 采用 的 一 个 查 接 
方法 是 “估计 和 搬入" 过程 。 该 过 程 包含 两 个 步骤 ,首先 是 “估计 "有关 信号 的 统计 参数 ,然后 将 
所 得 到 的 结果 * 插 人 (plug into)” 非 递 妇 公式 以 计算 滤波 器 参数 。 对 于 实时 运算 ,该 过 程 的 缺点 
是 刻 求 特别 精心 制作 ,而 且 要 求 价 格 昂贵 的 硬件 。 为 了 消 内 这 个 限制 ,可 采用 自 适 应 滤波 带 
(adaptive filter). 采用 这 样 一 种 系统 ,意味 着 滤波 器 是 自 设计 的 ,因为 自 适 应 滤波 器 依靠 递归 
算法 进行 其 运算 ,这 样 使 得 它 有 可 能 在 有 关 信 号 特征 的 完整 知识 不 能 得 到 的 环境 下 ,完满 地 完 
成 滤波 运算 。 该 算法 将 从 某 些 预先 确定 的 初始 条 件 集 出 发 ,这 些 初 始 条 件 代 表 了 人 们 所 知道 
的 上 述 环境 的 任何 一 种 情况 。 我 们 还 发 现 , 在 平稳 环境 下 ,该 算法 经 一 些 成 功 选 代 后 收 伍 于 某 
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种 统计 意义 上 的 最 优 维 纳 解 。 在 韭 平稳 环境 下 ,该 算法 提供 了 一 种 跟踪 能 力 ,因为 它 能 够 跟踪 
输入 数据 统计 特性 随时 间 的 变化 ,只 要 这 种 变化 是 足够 缓慢 的 。 

作为 递归 算法 应 用 的 一 个 直接 结果 , 自 适 应 滤波 占 的 参数 将 借 此 从 一 次 迁 代 到 男 一 壕 代 
进行 更 新 ,滤波 器 参数 变 成 与 数据 相关 。 因 此 ,这 意味 普 自 适应 滤波 问 实 际 上 是 … 个 非 线 性 系 
统 。 从 这 个 意 尽 上 讲 , 它 不 遵循 香 加 原理 。 尺 管 有 这 个 特性 , 自 适应 滤波 共通 常 还 是 分 为 线性 
和 和 非 线 性 两 种 。 如 果 输 入 -输出 映射 遵循 营 加 原理 , 则 认为 这 个 自 适应 滤 波 器 是 线性 的 ;否则 ， 
认为 该 滤波 絮 是 非 线性 的 。 

在 线性 自 适 应 滤波 器 文献 中 ,已 经 研究 了 大 量 的 递归 算法 。 在 下 面 的 分 析 中 , 自 适应 算法 
的 选择 取决 于 如 下 一 个 或 多 个 因素 : 


全 收 数 束 桂 ” 它 定 义 为 算法 在 响应 平稳 输 人 时 是 够 接近 地 收 敏 于 均 方 误差 意义 上 最 优 维 纳 
解 所 需要 的 迭代 数 。 快 速 收 敛 允许 算法 快速 自 适 应 于 统计 意义 上 未 知 的 平稳 环境 。 

© 失调 (misadjustment) ”对 于 一 个 感 兴趣 的 算法 ,这 个 参数 提供 了 和 良 适 应 滤波 器 集 平 均 的 
最 终 均 方 误差 与 维 纳 滤波 占 所 产生 的 最 小 均 方 误 差 之 间 偏 离 程度 的 一 个 定量 测量 。 

9 跟踪 (tracking) 当 一 个 自 适 应 滤波 算法 运行 在 非 平稳 环境 时 ,该 算法 需要 跟踪 环境 的 
统计 量变 化 。 然 而 ,算法 的 跟踪 性 能 受到 两 个 相互 矛盾 的 特性 的 影响 : (a) 收 敏 速率 ; 
《b) 由 算法 噪声 引起 的 稳 态 波动 。 

© $42 (robustness) ”对 于 一 个 鲁 棒 的 自 适应 滤波 器 ,小 的 扰动 (distubance) 只 会 产生 小 
的 估计 谋 差 。 这 些 扰 动 来 源 于 各 种 因素 ,包括 来 自 滤 波 带 内 部 或 外 部 的 因素 。 

9 计算 和 要求” 这 里 关心 的 问题 包括 :(a) 完成 算法 的 一 次 完整 适 代 所 需要 的 运算 量 ( 即 乘 
法 \ 除 法、 加 法 和 减法 );tb) 存储 数据 和 程序 所 需要 的 存储 器 位 置 的 大 小 ;(c) 在 计算 机 
上 对 算法 编程 所 需要 的 投资 。 

@ 结构 ”涉及 算法 的 信息 流 结构 以 及 硬件 实现 的 方式 。 例 如 ,其 结构 呈现 高 度 模 块 化 ,并 
行 或 并 发 的 算法 很 适合 于 使 用 超大 规模 集成 电路 (VLSI,very large-scale integration) 实 
He 

旬 数值 特性 ” 当 一 个 算法 数值 实现 时 ,将 产生 由 量化 误差 所 引起 的 不 精确 性 ,该 量化 误差 
依次 由 输 人 数据 的 模 / 数 变 换 和 内 部 计算 的 数字 表示 所 产生 。 一 般 来 说 ,造成 严重 设计 
问题 的 是 后 者 的 量化 误差 源 。 特 别 地 ,存在 人 们 所 关心 的 两 种 基本 问题 :数值 稳定 性 和 
数值 精确 性 问题 。 数 值 稳定 性 是 自 适 应 滤波 算法 固有 的 特征 。 另 一 方面 ,数值 精确 性 
由 表示 数据 样 值 和 滤波 器 系数 的 位 数 ( 妈 二进制 数字 ) 确 定 。 当 某 种 算法 对 其 数字 实现 
的 字 长 变化 不 敏感 时 ,就 说 该 自 适 应 滤波 算法 是 数值 鲁 棒 的 。 


这 些 因 素 以 其 特有 的 方式 也 出 现在 非 线性 自 适 应 滤波 器 设计 中 ,除非 在 维 纳 滤 波 带 形式 
中 不 再 有 一 个 明确 规定 的 参考 格式 。 反 之 ,值得 一 提 的 是 , 非 线 性 滤波 算法 可 能 收 人 第 于 误差 性 
能 曲面 某 一 局 部 极 小 点 ,或 者 可 望 收 化 于 它 的 茶 一 全 局 极 小 上 感 。 

除了 第 17 章 和 后 记 外 ,本 书 只 关心 线性 自 适应 滤波 器 及 其 有 关 课 题 。 


D VLSI 技术 更 适合 于 高 度 模块 比 . 并 行 或 并 发 工法 的 实现 。 当 一 个 结构 由 类 似 的 基本 节 ( 级 ) 级 联 组 成 时 ,就 认为 这 
个 结构 是 模块 化 的 。 并 行 , 意 指 大 量 运 算 并 列 进 行 的 性 能 。 并 发 , 意 指 在 相同 时 间 内 大量 类 似 运算 的 性 能 。 
LF AME VLSI 实现 的 讨论 ,网 Shanbhag 和 Paqifi994) 的 蔬 。 该 书 强 油 使 用 流水 线 , 这 荐 用 来 增加 自 适 点 
滤波 算法 吞吐 量 的 一 种 停 系 结构 技术 。 
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线性 滤波 算法 的 运行 涉及 两 个 基本 过 程 :(1) 滤 波 过 程 ,用 来 对 一 系列 输入 数据 产生 输出 
响应 ;C2) 自 天 应 过 程 ,其 目的 是 提供 滤波 过 程 中 可 调 参数 自 适 应 控制 的 一 个 机 制 (算法 )。 这 
两 个 过 程 相 互 影响 地 工作 。 自 然 ,滤波 过 程 结 构 的 选择 总 体 上 对 算法 的 运行 共有 深刻 的 影响 。 

线性 滤波 器 的 脉冲 响应 决定 了 滤波 器 的 记忆 能 力 。 另 一 方面 ,可 把 线性 滤波 器 分 为 有 限 
脉冲 响应 (FIR，finite-duration impulse response} 种 无限 脉冲 响应 (JIR，infinite-duration impulse re- 
sponse) 广 波 器 ,分 别 由 有 限 记 忆 和 无限 长 人 衰落 记忆 来 表征 。 


其 有 有 限 记 忆 的 线性 滤波 器 
在 有 限 记忆 和 白 适应 滤波 器 中 ,存在 三 种 类 型 很 容易 区 分 的 滤波 器 结构 ,如 下 所 述 。 
横向 滤波 器 


横向 滤波 器 (transversal filter) 了 ,也 称 为 抽 头 延迟 线 滤 波峰 或 有 限 脉冲 响应 滤波 器 , 它 由 图 
4 所 示 的 三 个 基本 单元 组 成 :(a) 单 位 延 运单 元 ;(b) 线 法 家 ;(c) 加 法 器 。 用 在 滤波 器 中 的 延迟 
单元 的 个 数 确 定 了 脉冲 响应 的 有 限 持 急 时 间 。 延 迟 单 元 个 数 ( 如 图 中 M 所 未) ,通常 称 为 滤波 
器 的 阶 数 。 在 该 图 中 ,每 个 延迟 单元 用 单位 延迟 算 子 z 表示。 特别 地 , 当 对 wu (nn) 进行 zo! 
运算 时 ,其 结果 输出 为 xn - 1)。 恋 波 器 中 每 个 乘法 器 的 作用 是 用 兹 波 器 系数 [也 称 为 抽 头 要 
值 (tap weight) ] 乘 以 与 其 相连 接 的 抽 头 输入 。 于 是 , 连 到 第 k MBAR Au (n 一 上 ) 的 乘法 器 产 
Æ wi uln 一 让 ) 的 输出 ,其 中 ww ERRI, k=0,1,..., M, BEAR. AEE 
抽 头 输入 和 抽 闫 权 值 都 是 复数 。 泪 波 器 中 加 法 占 的 合并 作用 是 对 各 个 乘法 部 输出 求 和 ,并 产 
生 总 的 沥 波 器 输出 。 对 于 所 示 的 横向 滤波 器 ,其 输出 为 


M 
y(n) = S)wea(n — k) (3) 
k=O 


上 式 叫 做 有 限 卷 积 和 ,因为 它 将 滤波 器 的 有 限 脉冲 响应 w* SEA uC) ERE E 
滤波 器 的 输出 y(m)。 


a(n) J a 1) 





utin-M +1) 





yn) 


图 4 横向 滤波 器 


CD) Kalmann(1940) 首 先 把 可 向 滤波 器 描述 为 连续 时 间 系 统 ,其 输出 为 非 离 散 (nomlispersive) 延 姑 线 的 均 句 间隔 抽 涉 上 电 
压 的 线性 组合 构成 。 模 向 谴 波 器 典型 地 利用 数字 电路. 电 共 焰 全 器 件 成 让 表面 波 姻 件 来 实现 。 由 于 通用 和 易于 实 
现 , 横 向 襄 波 器 作为 一 种 基本 信号 处 埋 结构 ,获得 广泛 应 用 。 


6 自 计 应 滤波 器 原理 





格 型 预测 问 


格 型 预测 器 (lattice predicior)? 具有 模块 结构 。 在 这 种 模块 结构 中 , 它 由 大 量 独 立 的 级 组 
成 ,每 一 级 具有 格 型 的 外 表 , 从 而 取 名 “ 格 型 "和 作为 构造 的 表征 。 图 5 表示 由 M 级 组 成 的 格 型 
TEM 称 为 预测 器 阶 数 。 图 中 示 出 的 第 m 级 格 型 预测 器 由 下 列 一 对 输入 输出 关系 (假设 
使 用 复数 值 .广义 平稳 输入 数据 ) 描 述 
Fl) = fale) + Pmt — 1) (4) 
和 
Bale) = bm int 一 上) 十 Km- (5) 
AH m=1,2,...,.M, MARR DMMB RR, £m 级 前 向 预测 误差 , b,n) EF 
m 级 后 向 预测 误差 。w,, Him 阶 发 射 系数 。 前 向 预测 误差 fn) ERABA wtn) 与 苦于 一 
组 严 个 过 去 输入 za -1 az-m) 所 做 出 的 预测 值 之 差 。 相 应 地 ,后 向 预测 误差 
b(n) 定义 为 输入 sln- m) HAET m TREMA ulna), ulan- m+ 1) ST A 
向 预测 值 之 差 。 考 虚 图 中 第 1 级 输入 的 条 件 , 我 们 有 
fol) = boln) = u(n) (6) 
UP (nn) 为 n 时 刻 格 型 庆 测 器 输入 。 于 是 ,从 式 (6) 的 初始 条 件 出 发 并 缘 定 一 组 发 射 系数 wj， 
Kase- wy Kay 则 可 经 由 格 型 预 调 器 一 级 一 级 地 向 前 推进 ,最 终 确 定 出 一 对 输出 名 Cn) 和 by (ne) 
i 第 2 级 第 好 级 
fn fim) fest) 


fol) fi) 








5 多 级 格 型 滤波 器 


对 于 由 统计 过 程 获得 的 相关 输入 序列 vln), u(n~1),..., un ~ 前), 后 向 预测 误差 
b(n}, biases bu《n) 组 成 一 个 非 相 关 蝴 机 变量 序列 。 青 则 ,两 个 随机 变量 序列 之 闻 在 如 





O 格 型 预测 器 的 推导 引 自 lakua 和 Sait 1972) 的 论文 。 
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下 意义 上 存在 着 一 一 对 应 关系 :如 果 给 定 其 中 的 一 个 ,可 以 性 一 地 确定 另 一 个 ,反之 亦 然 。 因 
此 ,后 向 预测 误差 如 (nm) ,b(n),...， but 4) 的 线性 组 合 可 用 于 提供 期 望 响 应 序列 d(n) 的 估 
计 , 如 图 5 下 半 部 所 示 。d(tn) 与 其 估计 值 之 问 的 差 表 示 估 计 误差 e(n)。 这 里 描述 的 过 程 称 
为 联合 过 程 估 计 。 当 然 , 可 以 直接 应 用 原 输 人 序列 un), u(n-1),..., u(n 一 站) 产生 期 望 
响应 的 估计 。 然 而 ,图 中 所 述 的 间接 法 有 具有 简化 抽 涉 权 值 hy hy... hy 计算 的 优点 ,因为 它 
利用 了 估计 中 所 采用 的 后 向 预测 误差 的 非 相关 特性 。 


脉动 阵列 


脉动 阵列 (systolic array) 表示 并 行 计算 网 络 , 它 非常 适合 于 映射 大 量 重要 的 代数 计算 ， 
诸如 和 矩阵 习 法 ,三 角 化 和 上 反 向 替代 。 脉 动 阵列 的 基本 人 处理 单 元 有 两 种 :边界 单元 和 内 部 单元 ,其 
功能 分 别 画 在 图 6(a) 和 图 6(b) 中 。 在 每 一 种 情 六 中 ,参数 > 表示 存储 在 单元 中 的 一 个 数值 。 按 
界 单元 的 作用 是 产生 等 于 wir( 即 输入 除 以 存储 在 单元 中 的 数 rx) 的 输出 。 内 部 单元 的 作用 有 
两 方面 :(a) 用 存储 在 单元 中 的 7 乘 以 输入 5 来自 顶 部 ) , 肯 从 第 二 个 输 人 (来 自 左边 ) 中 减 去 水 
FA rn, AMEZ u- r 作为 该 单位 右边 的 输出 ;tb) 不 用 交替 地 向 下 发 送 第 一 个 输入 s。 


输入 
$ 
N E. 输入 输出 
u i ui Fe 
your Zz 
输出 输出 
{a} 边界 单元 (b) 内 都 单元 


6 脉动 阵列 的 两 种 基本 单元 


例如 ,考虑 图 7 所 示 的 3x3 三 角 波 前 阵列 。 该 阵列 涉及 边界 单元 和 内 部 单 苑 的 组 合 。 
这 种 情况 下 ,三 角 阵列 计算 与 输入 向 量 u 有 关 的 输出 向 量 y 
y=R™n (7) 
RRB R HEH. K 的 元 素 是 三 角 阵 列 中 各 自 单元 的 内 容 。 零 加 到 留 中 
阵 到 的 输 大 中 是 为 了 提供 式 (7) 流 水 线 计算 所 需要 的 延迟 。 
如 前 所 述 ,脉动 阵列 结构 提供 了 模块 化 .局 部 互 连 ,高度 流 水 线 和 同步 并 行 处 理 ; 其 中 同步 
借助 于 全 球 时 钟 获得 。 


RA MiCtZ He tess Wi ee 


注意 图 4 的 横向 滤波 器 .图 5 的 格 型 预测 器 联合 过 程 佑 计 和 图 7 的 三 角 脉动 阵列 都 具有 有 
共同 的 特性 ;它们 都 是 由 有 限 脉 冲 响 应 表征 的 。 换 名 话说 ,它们 都 是 FR RET. 
其 结构 只 含 前 馈 支 路 。 另 一 方面 ,图 8 所 示 的 结构 是 IR 滤波 器 的 一 个 例子 。IIR BRAD A 
于 FIR 滤波 器 的 特征 是 它 包 含 反馈 支 路 。 反 馈 的 存在 使 得 IR 滤波 器 的 脉冲 响应 持续 时 间 变 





DO 脉动 阵列 最 早 由 Kung 和 Leiserson( 1978) 提 出 。 在 特殊 情况 下 ,使 用 脉动 阵 列 有 可 能 产生 较 炎 的 否 叶 量 ,这 在 实时 
操作 中 血 要 运用 大 量 高 级 信号 处 理 算 法 时 是 需要 的 。 
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图 8 TR 滤波 器 (假定 实 值 数据 ) 
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为 无 限 长 。 此 外 ,反馈 的 存在 引 人 新 的 问题 :潜在 的 不 稳定 。 特 别 地 ,IR 滤波 器 有 可 能 变 成 不 
稳定 ( 即 发 生 振 荡 ) ,除非 在 选择 反馈 系数 时 采取 特殊 的 预防 措施 。 相 反 地 ,FIR 滤波 种 总 是 稳 
定 的 。 这 就 解释 了 为 什么 流行 使 用 FIR 滤波 器 ,并 以 一 种 形式 或 分 一 种 形式 作为 设计 线性 自 
TUE ts A E o 

构造 TOR 自 适 应 滤波 器 并 以 很 简单 的 方式 满足 稳定 性 要 求 的 一 种 新 颖 广 法 是 使 用 横向 
Laguerre 滤波 能 。 图 9 示 出 这 种 滤波 器 的 结构 ,其 中 使 用 Laguerre 函数 代替 单位 延迟 。 特 别 
地 ,我 们 有 








Laz) = ML (8) 
1 - az 
和 
uo = s (9) 
az 
LDA LB a BRILL AT RIEA A RE, BR & 的 选择 受到 如 下 约束 
0 < |a| <1 





图 9 Laguerre BAITE Bea 
图 10(a) 和 图 0(b) 分 别 示 出 a BERAR Ly (2) EL Re A 11(a) 和 图 11(b) 分 
别 示 出 a 取 正 值 和 负 什 时 L,(z) 的 零 -极点 模式 。 由 图 可 见 : 
© 无 论 LIDZE 已 (z) 都 是 稳定 的 滤波 器 ,因为 它们 惟一 的 极点 z= a 在 = 平面 单位 圆 内 。 
e 零 阶 Laguerre 滤波 器 io(z) 是 一 个 一 阶 低 通 滤波 器 ( 当 a 为 正 值 时 ) 或 一 阶 高 通 滤 波峰 


o 一 阶 Lagueme 滤波 器 L(z) 是 一 个 一 阶 全 通 滤 波 妖 。 





(a) aka 是 正 的 (b) 套数 4 是 负 的 
图 10 (7z) 的 零 -极点 模式 
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图 10 和 图 11 的 参数 a 假设 是 实数 ;如 果 震 要 的 话 , 也 可 以 概 设 是 复数 值 。 
wi 





(a) Eho BEM (b) SARAN 
图 11 Li(z) 的 零 -极点 模式 


线性 自 适应 滤波 器 的 研究 方法 


对 线性 自 适 应 滤波 问题 不 存在 惟一 的 解决 方案 。 相 反 地 ,我 们 有 一 套 表示 各 种 递归 算法 
的 工具 ,其 中 的 每 一 个 提供 了 它 所 拥有 的 期 望 特性 。 自 适应 滤波 的 用 户 所 面临 的 挑战 首先 是 
了 解 各 种 自 适应 滤波 算法 的 能 力 和 限制 ,其 次 是 把 了 解 到 的 知识 用 半 选 择 合适 的 算法 以 满足 
目前 的 应 用 需要 。 

基本 上 ,可 试 为 存在 两 种 不 同 的 推导 线性 自 适应 滤波 器 递归 算法 的 方法 。 


随机 梯度 法 


随机 梯度 法 (stochastic gradient approach) 使 用 抽 头 延迟 线 或 者 横向 滤波 磊 作为 实现 线性 自 适 
应 滤波 器 的 构造 基础 。 对 于 平稳 输入 的 情况 ,代价 函数 (也 称 为 福 能 指标 ) 定 义 为 均 方 误差 { 即 
期 望 响应 与 横向 泪 波 器 输出 之 差 的 均 方 值 )。 代 价 画 数 恰 好 是 横向 滤波 器 中 抽 头 权 信 的 二 次 画 
数 。 未 知 抽 头 权 值 均 方 误差 的 函数 关系 看 做 是 具有 惟一 确定 的 极 小 点 的 多 维 抛物 面 。 如 前 所 
述 ,我 们 把 这 个 抛物 面 称 为 误差 性 能 曲面 ;对 应 和 于 该 曲面 要 小 点 的 抽 头 权 值 定 多 了 最 优 维 纳 解 。 

为 了 推导 更 新 自 适应 横向 滤波 器 抽 头 权 值 的 递归 算法 ,我 们 分 两 步 进 行 这 项 工作 。 首 先 ， 
使 用 达 代 方法 求解 维 纳 - 秆 夫 方程 (Wiener-Hopf equation); 选 代 过 程 以 最 优化 理论 中 大 们 所 熟 
知 的 最 速 下 降 法 {method of steepest descent) 为 基础 。 这 个 方法 需要 使 用 梯度 向 量 ,其 值 取决 于 
两 个 参量 :横向 滤波 器 中 的 抽 头 输入 的 自 相 基 年 阵 以 及 期 望 响应 与 该 抽 头 输入 之 间 的 互相 关 
向 量 。 其 次 ,我 们 恒 用 这 些 相 关 的 曼 态 值 ,以 便 推导 梯度 向 量 的 估计 值 ,推导 中 假设 该 向 量 是 
随机 的 。 基 于 上 述 思 想 的 算法 ,通常 称 为 最 小 均 方 (LMS,least-mean-square) 算 法 。 当 横向 滤波 
器 运行 在 实数 据 的 情况 下 ,该 算法 大 兵 上 可 描述 为 


《 抽 头 权 向 量 更 新 值 ) = (ES BH) + (学 习 速 率 参 数 )( 抽 头 输入 同 量 )( 误 差 信 号 ) 
其 中 误差 信号 定义 为 期 望 向 量 与 抽 头 输入 向 量 所 产生 的 横向 滤波 器 的 实际 向 量 之 差 。 





中。 在 是 数 的 一 般 定义 中 ,我 们 经 常 说 到 从 间 量 空间 到 实数 复数) 标量 的 变换 {IDnenherger，1969; Domy, 1975). fit ast 
提供 了 分 本 性 能 指标 的 定 基 度 基 ,从 而 限制 它 为 标量 。 


背景 与 预览 11 


LMS 算法 很 简单 , 而 月 在 正确 条 件 下 可 能 获得 满意 的 性 能 。 其 主 归 缺 点 是 收敛 速率 相当 
缓慢 ,而 且 对 抽 头 输 人 相关 和 抢 阵 条 件数 (矩阵 的 条 件数 定义 为 其 最 大 特征 值 与 最 小 特征 值 之 
比 ) 的 变化 比较 敏感 。 即 合 这 样 ,LMS 算法 仍然 十 分 流行 旦 应 用 广泛 ， 

在 非 平稳 环境 下 ,误差 性 能 曲 桓 的 方才 随时 间 连 续 变 化 。 在 这 种 情况 下 ,LMS 算法 有 一 个 
连续 良 踪 误差 性 能 曲面 极 小 点 的 附加 任务 。 实 际 上 ,只 要 输 人 数据 与 IMS 算法 学 习 速率 相 比 
是 惕 的 ,就 会 发 生 跟踪 问题 ， 

随机 梯度 方法 也 用 于 格 型 结构 ，、 产 生 的 自 适应 滤波 算法 叫做 梯度 自 适 应 格 型 (GAL, gradient 
adaptive lattice) 算 法 。LMS AI CAL 算 法 二 线性 自 适 应 滤波 器 随机 梯度 族 的 两 个 成 员 , 而 迄 令 为 
止 ,LMS 仍然 是 这 个 家 族 中 最 流行 的 一 员 。 


最 小 二 乘 估计 


第 二 种 线性 自 适 应 滤波 算法 方法 以 最 小 二 乘法 为 基础 。 和 根据 这 个 方法 ,我 们 对 加 权 澡 差 
平方 和 形式 的 代价 函数 进行 最 小 化 ,其 中 误差 或 残 差 定义 为 期 望 响应 与 实际 滤波 器 输出 之 差 。 
最 小 二 溢 法 可 用 顽 估 计 或 递归 估计 来 表示 。 在 块 估计 中 , 输 人 数据 流 以 等 长 度 抉 的 形式 排列 ， 
而 且 一 块 一 块 地 对 输入 数据 进行 滤波 处 理 ; 南 在 递归 估计 中 ,一 个 样 值 一 个 样 值 地 对 感 兴 超 的 
估计 (例如 ,横向 凄 波 器 的 抽 头 极 值 ) 进 行 更 新 。 通 常 ,递归 佑 计 比 块 佑 计 要 求 较 少 的 存储 量 ， 
这 就 是 为 什么 在 实际 中 递归 估计 的 使 用 要 多 得 多 的 原因 。 

递归 最 小 二 习 {RLS, Recursive least-squares) 梧 看 做 卡尔 曼 滤 波 的 一 个 特例 。 卡 尔 曼 滤波 器 
着 名 的 特点 是 状态 概念 , 它 提 供 了 特定 时 刻 加 到 滤波 器 抽 头 所 有 输入 的 一 个 度量 。 于 是 ,在 卡 
尔 曼 滤 波 算法 的 核心 部 分 ,存在 一 种 递 推 其 系 , 它 可 用 文字 表述 为 


(状态 递 推 值 》 =《 担 的 状态 值 ) + (卡尔 曼 增益 多 新 县 向 量 ) 


其 中 新 息 向 量 表示 在 计算 时 刻 进 人 让 波 过 程 的 新 的 信息 。 现 在 ,我 们 有 足够 的 把 握 说 ,在 卡尔 
SERS RIS 变量 之 则 的 确 存 在 一 一 对 应 关系 。 这 个 对 应 关系 使 得 我 们 可 以 从 大 基 卡 尔 曼 
滤波 骨 文 献 中 选择 一 些 方 法 用 来 设计 基于 最 小 二 莱 估 计 的 线性 自 适应 滤波 器 。 此 外 ,取决 于 
所 来 用 的 方法 ,递归 最 小 二 乘 线性 自 适 应 滤波 算法 族 可 分 为 三 类 : 


a) 标准 RIS 算法 ” 它 假 设 使 用 横向 滤波 器 作为 线性 自 适 应 滤波 内 的 结构 基础 。 标 准 
RIS 算法 的 推导 依 束 于 线性 代数 中 的 一 个 基本 结果 一 一 佐 阵 求 逆 引 理 。 更 重要 的 是 ， 
该 算法 既 有 相同 于 标准 卡尔 曼 滤 波 算法 的 优点 ,也 受到 相同 的 限制 ,如 缺乏 数值 重 棒 
性 和 计算 复杂 性 过 高 。 正 是 这 两 个 限制 促使 人 们 研究 开发 另 两 类 RL 算法 。 

b) 平方 根 RLS 算法 它 基 于 输入 数据 和 矩阵 的 OR 分解。 完成 这 个 分 解 的 两 种 众所周知 
的 技术 是 家 斯 置 尔 德 {Householder) 变 换 和 吉文 斯 (Givens) 旋 转 ,此 二 者 都 是 数据 自 适 应 
的 变换 。 就 所 讨论 的 问题 而 言 ,基于 豪 斯 霍 尔 德 变换 或 吉文 斯 旋转 的 RLS 算法 是 数值 
稳定 的 和 和 鲁 桂 的 。 贞 此 产生 的 线性 自 适应 滤波 器 岂 敌 平方 根 自 适应 滤波 夷 ,因为 在 年 
阵 意义 上 它们 表示 了 标准 RLS 算法 的 平方 根 形式 。 

c) RR RLS 算法 ”标准 RIS 算法 和 平方 根 RIS 算 法 都 具有 随 M 增加 的 计算 复杂 性 ,其 
pM 是 算法 中 可 调 权 值 的 数 县 ( 即 自 击 度数 )。 这 种 算法 通常 称 为 OOM BRAS 
Ox ARH x 的 数量 级 。 相 反 ,LMS 是 0 MM) 算 法 ,其 中 的 计算 复杂 性 随 M 线性 增加 。 


12 自 舌 应 滤波 器 原理 


当 办 很 大 时 ,从 使 任 实 现 的 观点 着 ,0(M ) 算 法 的 计算 复杂 性 将 会 变 得 不 可 接受 。 因 
此 存在 一 个 强 谢 的 动因 ,以 假设 计算 复杂 性 为 0( 对) 形式 的 方式 修正 RLS 算法 的 计算 
公式 。 在 朋 态 处 理 的 情况 下 ,这 个 自 标 的 确 可 达到 。 首 先 利用 输入 数据 甜 阵 的 托 伯 利 
兹 (Toeplitz) 结 构 所 固有 的 元 余 度 这 个 优点 ,其 次 道 过 利用 前 向 和 后 向 两 个 方向 线性 最 
小 平方 预测 中 的 宛 余 度 。 这 样 产 生 的 算法 都 称 为 快速 RLS 算法 。 这 些 算法 组 合 了 具 
有 0O(M) 计 算 复杂 性 的 递归 线性 最 小 二 蕊 估计 的 期 望 特性 。 取 决 于 所 采用 的 滤波 结 
构 ,一般 存在 两 种 形式 的 快速 RLS 算法 ; 


名 阶 更 新 自 运 应 滤波 器 它 以 类 似 于 线性 前 向 和 后 向 预测 中 采用 的 格 型 结构 为 
基础 。 
e 快速 模 向 洪波 器 ”在 该 结构 中 ,线性 前 向 和 后 向 预测 用 分 离 的 横向 滤波 咒 来 完成 。 


某 些 ( 但 不 是 全 部 ) 阶 更 新 自 适应 滤波 器 的 实现 已 经 证 明 是 数值 稳定 的 ,而 快速 横向 滤 
波 器 将 会 遇 到 数值 稳定 性 问题 , 故 其 实际 应 用 受到 了 限制 。 


线性 自 适应 滤波 器 介绍 性 的 初步 讨论 将 是 不 完整 的 ,和 更 不 用 说 关于 其 跟踪 特性 的 某 些 内 
容 。 在 这 个 范围 内 ,我们 注意 到 诸如 LMS 算法 等 随机 梯度 算法 是 模型 无 关 的 。 一 般 来 说 ,人 
们 期 望 它 呈 现 好 的 跟踪 特性 ,实际 上 它 也 敌 到 了 这 一 点 。 相 反 ,RLS 算 法 是 模型 相关 的 ,这 意 
味 着 其 跟踪 性 能 可 能 比 大 量 的 随机 梯度 算法 族 来 得 差 ,除非 人 们 注意 使 作为 算法 基础 的 数学 
模型 与 产生 输入 数据 的 基础 物理 过 程 之 间 的 失 配 最 小 化 。 


如 何 选择 自 适 应 滤波 器 


给 出 对 系统 设计 者 可 用 的 各 种 白 适 应 滤波 器 ,如 何 选 择 自 适应 滤波 器 以 解决 感 兴趣 的 应 
用 问题 呢 ? 很 清楚 ,无 论 何 种 选择 ,都 必须 是 费用 有 效 的 。 率 记 这 个 目标 ,我 们 可 以 看 清 要 注 
意 的 三 个 重要 问题 :计算 费用 ,人 性 能 和 和 鲁 棱 性 。 计 算 机 模拟 提供 了 详细 研究 这 些 问 题 的 良好 的 
第 一 步 。 可 以 从 使 用 LMS 算 法 出 发 ,并 把 它 作 为 自 适应 滤波 工具 以 便 满足 研究 需要 。LMS 算 
法 的 实现 相对 简单 ,而 且 足 以 强 有 力 地 评价 现 有 问题 各 种 自 适应 应 用 的 实际 效益 。 再 则 , 它 还 
可 为 评价 进一步 性 能 改进 提供 实际 的 参考 框架 , 这 种 改进 可 通过 使 用 更 复杂 的 自 适 应 滤波 算 
法 来 获得 。 最 后 ,该 研究 还 必须 包括 对 现实 世界 数据 的 测试 ,而 且 该 测试 是 不 可 替代 的 。 

自 适应 滤波 的 实际 应 用 是 千变万化 的 ,而 且 每 种 应 用 具有 各 自 的 特殊 性 。 所 以 ,对 于 一 种 
应 用 的 解决 方案 不 一 定 适用 于 另外 一 种 应 用 。 不 过 ,要 获得 成 功 ,必须 从 物理 上 理解 与 感 兴趣 
实际 应 用 有 关 的 滤波 器 运行 环境 。 


自 适应 滤波 器 的 实数 和 复数 形式 


在 研究 自 适 应 滤波 算法 时 ,不 管 其 来 源 如何 , 习 众 上 都 假设 输入 数据 是 基带 形式 的 。“ 基 
带 ” 用 来 指明 由 信息 源 产生 的 源 ( 消 息 ) 信 号 所 表示 的 频带 。 

在 诸如 通信 .雷达 , 声 纳 等 应 用 中 ,接收 机 输 人 的 承载 信息 的 信号 典型 地 由 调制 在 载波 上 
的 消息 信号 组 成 。 消 息 信号 的 带宽 通常 小 于 载波 频率 。 这 意味 着 调制 信号 是 窄带 信号。 为 了 
获得 窄带 信号 的 基带 表示 ,信号 以 完全 消除 载波 影响 的 方式 进行 向 下 频谱 搬移 ,在 搬移 过 程 中 
完全 保护 包含 在 消息 信号 中 的 信息 。 一 般 来 说 ,这 样 得 到 的 基带 信号 是 复数 的 。 痢 条 话 说 , 信 
号 样 值 可 以 写 为 
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u(n) = u(n) + jugtn) (10) 
式 中 局 (a) 是 同 相 (jirphase)( 实数) 分 量 , zfz) 是 正 交 ( 碟 数 ) 分 量 。 等 价 地 ,我 们 有 
ula) = ju(n)leo (11) 


AP! u(r) Alb Cn) 33 eta S EE ATA 。 

Ai, ERRES ET IRE Fl a a (DHE RE EER PEDE a) BG AB 
GARR. DR ARERR ERE SOA, PR AiR BE A 
点 在 于 , 它 保 护 了 后 面 提 到 的 应 用 领域 中 所 遇 到 的 复数 信号 的 数学 表达 式 和 完美 的 结构 。 

如 果 要 处 理 的 信号 是 实数 的 ,我 们 自然 使 用 感 兴趣 的 实数 形式 自 适 应 请 波 算 法 。 给 出 自 
E DER RE BY SEN, 将 其 变 为 相应 的 实数 形式 将 是 很 简单 的 。 特 别 地 , 我 们 做 如 下 两 件 
事情 ; 


9 每 当 复 数 共 轿 运算 发 生 在 算法 中 时 , 移 走 该 复数 共 轴 运 算 。 
© 每 当 算法 中 发 生 埃 尔 米 特 (Henmitian) 转 置 ( 即 共 纯 转 置 ) 时 ,用 原来 的 转 置 代替 埃 尔 米 
特 转 置 。 


做 这 样 的 简单 处 理 后 ,复数 自 适应 奔波 吾 就 包括 实数 自 适 应 滤波 器 作为 特例 。 


自 适 应 波束 形成 


至 今 讨 论 的 自 适应 滤波 方法 和 结构 都 是 属于 时 间 类 别 的 。 在 这 类 滤波 嚣 中 ,滤波 运算 在 
时 域 进行 。 当 然 , 自 适应 滤波 也 可 以 是 空间 类 别 的 ,在 这 种 类 别 中 ,独立 传感器 阵列 代替 了 空 
河 的 不 同 点 深 恒 “ 听 到 ”来自 某 一 距离 的 信和 号。 实际 上 ,传感器 提供 了 在 空间 对 接收 信号 取样 
的 一 种 手段 。 在 某 一 特殊 时 刻 收 集 的 传 感 右 输出 集 构成 信 源 的 一 个 “快照 ”"。 当 传感器 均匀 地 
位 于 某 一 直线 上 的 时 候 ,空间 证 波 器 中 的 数据 快照 起 到 了 类 似 于 某 一 特定 时 刻 横向 证 波 书 中 
的 一 组 连续 抽 头 输入 的 作用 =。 

阵列 信和 号 处 理 的 重要 应 用 包括 如 下 方面 : 


雷达 ”这 里 的 传感器 由 对 入 射电 磁 波 做 出 响应 的 天 线 元 率 组 成 , 面 且 要 求 能 对 辐射 电 
磁 波 做 出 响应 的 信号 源 做 出 检测 , 估计 波 到 法 和 角 , 并 提取 有 关 信 生源 的 信息 。 
@ 声 纳 ”这 里 的 传感器 由 用 来 对 入 射 声波 做 进 喧 应 的 水 中 听 音 器 组 成 ,而 且 要 求 其 信号 
处 理 类 似 于 雷达 中 的 信号 处 理 。 
@ 语音 增强 ”这 里 的 传感器 由 麦克 风 组 成 ,而 且 槛 求 在 有 背景 噪声 的 情况 下 能 听 到 期 望 
说 话 者 的 声音 。 
在 这 些 应 用 中 ,所谓 波 束 形成 (beamforming) 的 目的 在 于 区 分 信号 和 噪声 的 空间 特性 。 用 来 做 
波束 形成 的 系统 叫做 波束 形成 器 (beamformmerj。 “波束 形成 器 "这 个 术语 来 自 这 样 一 个 事实 :时 
期 的 天 线 被 设计 成 射 束 的 形式 ,以 便 接 收 从 特定 方向 发 射 的 信 源 信号 并 衰减 不 感 兴趣 的 其 他 
方向 的 信和 号 (Van Veen & Buckley，1988)。 波 束 形成 应 用 于 能 量 的 发 射 和 接收 。 
图 12 示 出 使 用 相同 传感器 的 线性 阵列 的 自 适应 波束 形成 祷 框 图 。 传 感 龙 输出 (假设 是 若 








由 ”时 则 域 与 空间 域 信号 处 理 之 间 相 似 性 的 讨论 , 见 Bracewell(1986) .Van Veen 和 Buckley(1988) 的 论文 。 
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要 求 : 


e 转向 (sleering) 能 力 ” 惜 此 ,目标 ( 源 ) 信 号 总 是 受 保护 。 
e 干扰 消除 这样 .使 得 输出 售 品 比 最 大 。 


TEBE FARE 







oe |, 
[一 
te 


图 12 五 个 传感器 阵列 的 自 适 应 波束 形成 器 
满足 这 些 要 求 的 一 种 方法 是 : 自 适 应 过 程 中 ,在 Mx 1 权 向 量 w(n) 满 足 如 下 条 件 
w (ns) =1 对 于 所 有 n M 6 = 6, (12) 
的 约束 下 ,使 波束 形成 器 输出 的 方差 (平均 功率 ) 极 小 化 。 式 中 ,st8) 是 M x1 转向 向 量 , 上 标 
玫 表 示 埃 尔 米 特 转 置 。 假 设 基带 信和 叶 是 复数 值 ,因而 需要 复数 共 罗 运算 。 角 度 68= 4 的 值 由 
目标 的 方向 来 确定 。 角 度 8 以 传感器 0 作为 参考 点 进行 自我 测量 。 





转向 向 量 对 6 的 依赖 性 用 如 下 关系 来 定义 
s(@) = [1 e,- ee] (13) 
令 # 表 示 平 面 波 实际 人 射 角 , 它 是 由 相对 于 线性 阵列 的 法 线 测 得 的 。 则 根据 图 13, 容 易 看 出 
g = 4 sing, ~n/2S AS 1/2 (14) 


式 中 d SEMAN RES ASA 是 人 射 波 的 波长 。 由 于 和 限制 在 [ -x/2, 2/2) 
内 而 8 的 允许 值 在 [ - r, x] 范 围 内 , 故 由 式 (12) 可 见 ,q 必须 小 于 1412, 以 使 得 % 与 9 值 之 间 存 
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在 -一 一 对 应 关系 。 于 是 ,要 求 d< 4 可 看 做 取样 定理 的 空间 域 表示 。 如 果 这 个 要 求 不 满足 ， 
风波 束 形成 器 的 辐射 {天 线 ) 模 式 将 呈现 格 栅 型 波光 (grating lobes) (Skolnik，1980)。 该 辐射 模 
式 就 是 波束 形成 器 输出 功率 作为 其 测量 方向 函数 的 一 个 关系 图 。 





图 13” 当 平面 波 入 射 到 线性 泗 列 上 时 产生 的 空间 时 延 


对 式 (12) 所 强加 的 依 生 保护 约 东 保证 :对 于 规定 的 观察 方向 8= 8 ,不 管 权 向 量 w 的 元 素 
取 什 玄 值 ,阵列 响应 将 维持 不 变 ( 等 于 1)。 在 这 个 约束 下 ,使 波 东 形成 器 输出 方差 最 小 化 的 算 
法 很 自然 地 称 为 最 小 方差 失真 响应 (MVYDR, minimum-variance distortionless response) ERE RE 
法 。 注 意 ,强加 的 信和 叶 保护 约束 使 可 用 自由 度数 变 为 好 - 2, 其 中 寻 是 阵列 中 传感器 的 数目 。 
因此 ,由 MVDR 产生 的 独立 空 值 数 ( 即 能 够 消除 独立 干扰 的 数目 ) 为 M -2 


自 适应 滤波 器 的 四 种 应 用 


自 适 应 滤波 器 具有 在 未 知 环 境 下 良好 运行 并 跟踪 输 人 统计 量 随时 间 变 化 的 能 力 , 使 得 自 
适应 滤波 器 成 为 信号 处 理 和 自动 控制 应 用 领域 强大 的 设备 。 实 际 上 , 自 适 应 滤波 器 已 经 成 功 
地 应 用 于 通信 .雷达 声 纳 .地震 学 和 生物 医学 工程 等 领域 。 尽 管 这些 应 用 在 特性 方面 是 于 变 
万 化 的 ,但 它们 都 有 一 个 共同 的 基本 特征 :输入 向 量 和 期 望 响 应 被 用 来 计算 估计 误差 ,该 误 老 
依次 用 来 控制 一 组 可 调 滤波 器 系数 。 取 决 于 所 采用 的 请 波 器 结构 ,可 调 系数 可 取 抽 头 权 值 、 反 
射 系 数 或 旋转 参数 等 形式 。 然 面 , 自 适应 滤波 器 各 种 应 用 之 间 的 本 质 不 同 在 于 其 期 望 响 应 的 
提取 方式 不 同 。 就 此 ,可 把 自 适应 滤波 器 应 用 分 为 四 种 类 型 ,如 图 14 所 示 。 为 方便 起 见 ,图 中 
使 用 如 下 记号 : 
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= 加 到 自 适 应 滤波 器 的 输入 
= 自 估 应 滤波 器 的 输出 


u 

Y 

d = 期 户 啊 应 

e= d- y = 估计 误差 













随机 
信号 


€ 
Fag al 


(0) aw 
基本 
信号 
#4 系统 
信号 输出 1 


+ 
EEGs 
(2) FSR 
BHi 自 适 应 滤波 应 用 的 四 种 基本 类 型 
自 送 应 滤波 器 应 用 的 四 种 基本 类 型 的 作用 拱 述 如 下 ; 


1) HRA 14(a)] 数学 模型 概念 是 科学 与 工程 的 基础 。 在 这 类 涉及 辨识 的 应 用 中 , 自 
适应 滤波 器 用 来 提供 一 个 在 某 种 意义 上 能 够 最 好 拟 会 未 知 装 置 的 线性 模型 。 该 装置 
和 自 适 应 滤波 器 由 相同 的 输入 激励 。 该 装置 的 输出 提供 作为 自 适应 滤波 器 的 期 望 响 
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应 。 如 果 该 装置 具有 动态 特性 , 则 自 适应 滤波 器 所 提供 的 模型 将 是 时 变 的 。 

2) 逆 模 型 [图 14(b)] 在 第 二 类 应 用 中 , 自 适 应 滤波 器 的 作用 是 提供 一 个 道 模 型 ,该 模型 
可 在 某 种 意义 上 最 好 拟 合 未 知 噪点 装置 。 理 想 地 ,在 线性 系统 的 情况 下 ,该 逆 模 型 具 
有 等 于 未 知 装置 转移 函数 倒数 的 转移 范 数 ,使 得 二 者 的 组 合 构 成 一 个 理想 的 传输 媒 
介 。 该 装置 (系统 ) 输 入 的 延迟 构成 自 拓 应 滤波 器 的 期 望 响应 。 在 某 些 应 用 中 ,该 装置 
(系统 ) 输 人 不 加 延迟 地 用 做 期 望 啊 应 。 

3) 预测 [图 14(c)] 这 里 , 自 适应 滤波 器 的 作用 古 对 随机 信号 的 当前 值 提 供 某 种 意义 上 
的 一 个 最 好 预测 。 于 是 ,信号 的 当前 值 用 做 自 适 应 滤波 器 的 期 望 响应 。 信 和 号 的 过 去 值 
加 到 滤波 器 的 输入 端 ， 取 决 于 感 兴趣 的 应 用 , 自 适 应 滤波 锅 的 输出 或 估计 (预测 ) 误 差 
均 可 作为 系统 的 输出 。 在 第 一 种 情况 下 ,系统 作为 一 个 预测 器 ;而 在 后 一 种 情况 下 , 系 
统 作 为 预测 误差 滤波 髓 。 

4) 干 抗 消除 [图 IKD] 在 最 后 一 类 应 用 中 , 自 适 应 滤波 器 以 某 种 意义 上 的 最 优化 方式 
消除 包含 在 基本 信号 中 的 未 知 干 术 (类似 于 一 个 承载 信息 的 信号 分 有 量 )。 基 本 信号 用 
做 自 适 应 泪 波 器 的 期 望 啊 应 ,参考 (辅助 ) 信 和 号 用 做 姜 波 器 的 输入 。 参 考 信 号 来 自 定位 
的 某 一 传感器 或 一 组 传感器 ,并 以 承载 信息 的 信和 号 是 微 弦 的 或 基本 不 可 预测 的 方式 ， 
供给 基本 信号 上 。 


表 1 列 出 某 些 特定 的 应 用 以 使 说 明 自 送 应 被 波 器 应 用 的 四 种 基本 类 型 。 所 列 出 的 应 用 来 
自控 制 系统 ,地 震 学 ,心电图 学 、 通 信和 和 雷达 等 领域 。 其 用 途 列 在 表 中 最 后 一 列 。 


#1 自 适 应 这 波 器 的 应 用 





自 适应 滤波 的 类 型 应 用 Fa 
PRA 系统 辨识 给 定 一 个 未 知 的 动态 系统 .系统 办 识 的 且 的 是 设计 -一 个 自 适 应 滤波 器 以 
Js oh ts RE 
分 层 地球 建 楼 在 地 震 操 测 中 ,开发 研究 地 蒜 的 分 层 模型 ,以 解 大 地 球 表 面 的 复杂 问题 
递 模型 均衡 结 定 一 个 未 知 哑 冲 响应 的 信道 , 自 适 虚 均衡 器 的 用 途 是 通过 操作 信道 连 
出 ,使 得 信道 与 均衡 跨 的 级 联 提供 理想 传输 谋 介 的 一 个 息 好 逼近 
预测 预计 编码 自 适应 预测 用 来 开发 域 兴趣 信号 {如 诸 音 信号 ) 的 模型 ,而 不 是 直接 对 信 


号 编码 。 在 该 编码 中 ,预测 误差 被 编码 以 恒 传输 和 存储 。 典 型 地 , A 
误差 具有 比 原 依 导 草 小 的 方差 ,从 而 作为 改进 编码 的 基础 


Bari ESS , Pot ae iS E 
干扰 消除 tatil- AARE IR BD Be Sa LAHAR. B 
EBRA ERRANA PRERA MRN RO 
在 心电图 学 中 
ERER 波束 形成 办 是 由 具有 可 调 加 权 系 数 的 天 线 降 元 组 成 的 空间 恋 波 器 。 自 


适应 波 东 形成 器 的 双重 日 的 是 , 自 适应 地 控制 加 权 系 数 以 便 消 除 与 未 知 
衣 间 阵列 密切 有 关 的 于 拒 信 号 ,并 同时 对 感 兴趣 目标 信 对 提供 保护 





历史 回顾 


一 一 为 了 理解 一 种 科学 ,必须 知道 它 的 历史 [ Auguste Comte(1798 ~ 1857) | 
我 们 将 通过 回顾 与 本 书 课题 紧密 相关 的 三 个 研究 领域 来 完成 这 个 导 引 性 章节 。 这 三 个 领 
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域 是 ;线性 估计 理论 ,线性 自 适应 滤波 器 , 目 适应 信号 处 理应 用 。 对 于 神经 网 络 的 历史 侣 顾 , 读 
者 可 参考 本 书 作者 的 为 一 著作 { Haykin, 1999). 


线性 估计 理论 


Be AHH GES AC? 研究 的 因素 明显 地 来 自 于 天 文学 研究 。 在 这 些 研究 
中 ,人 们 利用 望远镜 况 测 数据 以 研究 行星 和 彗星 的 运动 。 为 尝试 求 取 各 种 误 羡 函数 极 小 值 , 怖 
” 利 略 {Galileo) 开 启 了 千 计 理论 研究 ,并 在 1632 年 进行 了 一 些 创 造 性 工作 。 然 而 ,线性 估计 理论 
的 发 明 归 功 于 高 斯 (Gauss) ,他 在 1795 年 18 岁 的 时 候 发 明了 最 小 二 药 法 以 便 研 究 天 体 的 运动 
《Ganss，1809)。 不 过 ,关于 最 小 二 乘法 的 实际 发 明 者 ,在 19 世纪 初 存在 很 大 的 争论 。 争论 的 
发 生 是 因为 高 斯 并 没有 在 当年 (1795 年 ) 发 表 他 的 发 现 ,而 首先 是 出 Legendre 在 1805 年 发 表 
的 ,后 者 独立 发 明了 该 方法 (Legendre, 1810)。 

随机 过 程 中 的 最 小 均 方 估计 的 最 初 研究 晨 由 Kolmogorov ,Krein 和 Wiener 在 20 世纪 30 年 
AE Al 20 tH 42 40 EAR BEAT AY (Kolmogorov , 1939; Krein, 1945: Wiener, 1949}, Kolmogorov 和 
Krein 的 工作 与 Wiener 的 工作 是 独立 进行 的 ,尽管 其 结果 存在 某 些 重 杰 ,但 各 自 的 目标 却 十 分 
不 同 。 在 Gauss 问题 与 Kolmogorov、Krein 和 Wiener 所 研究 问题 之 闻 存 在 着 许多 概念 上 的 差异 
(an 140 年 后 人 们 所 期 待 的 )。 

受 Wold 的 离散 时 间 平 稳 过 程 早期 著作 (Wold，1938) 的 启发 ,Kolmogoroy 提出 了 离散 随机 
过 程 线 性 预测 问题 的 一 个 综合 性 论述 。Krein 注意 到 Kolmogorov 的 研究 结果 与 Seg ATEX 
多 项 式 { Szepgi,1939; Grenander & Szegi ,1958) 某 些 早期 工作 之 疗 的 关系 ,并 通过 线性 变换 的 灵巧 
应 用 推广 了 该 结果 。 

Wiener 独立 地 系统 阐述 了 连续 时 间 预 测 问 题 并 导出 了 最 优 预 测 器 的 显 式 公式 。 他 也 考虑 
了 估计 会 加 性 噪声 过 程 的 滤波 问题 ,求解 该 积分 问题 所 需要 的 最 优 估计 显 式 公式 称 为 维 纳 - 翅 
去 方程 (Wiener & Hopf, 1931). 

在 1947 年 Levinson 系统 地 研究 了 离散 时 间 维 纳 滤 波 问 题 。 在 访 散 时 间 信 和 叶 情 况 下 , 维 纳 
-起 夫 方 程 取 为 矩阵 形式 他 

Rw, = p (15) 

式 中 w, 是 横向 滤波 器 形式 的 维 纳 滤 波 问 题 的 抽 头 加 权 向 量 ,R A RERE, p 是 
抽 头 输入 与 期 望 响 应 之 闻 的 互相 关 向 量 。 对 于 平稳 输 人 ,相关 乍 阵 及 假设 是 特 跌 结 攀 的 托 普 
利兹 和 矩 阵 , 它 是 用 数学 家 托 普 利兹 的 名 字 命 名 的 。 通 过 利用 托 普 利兹 和 矩阵 的 性 质 , Levinaon 导 
出 了 求解 矩阵 形式 维 纳 - 霍 夫 方程 的 极其 灵巧 的 递归 步骤 (Levinson，1947)。 在 1960 年 , Durbin 
重新 发 现 了 Levinson 递归 步骤 ,并 将 其 作为 标量 时 间 序 列 数 据 自 回归 模型 递归 拟 合 的 一 种 方 
案 。 由 Durbin 考虑 的 问题 是 式 (15) 的 一 个 特例 ,其 中 列 向 量 p 由 相关 和 矩阵 RR 中 找到 的 相同 因 
素 组 成 。 在 1963 年 , Whittle 证 明了 在 Levinson-Durbia( 列 文 森 - 杜 宾 ) 递 归公 式 与 Sego EXE 
项 式 之 间 存 在 着 密切 关系 ,而 且 导 出 了 Levinson-Durbin 递归 公式 的 多 变量 推广 形式 。 

Wiener 和 Kolmogorov 假设 无 限 长 数据 ,并 且 假 设 随 机 过 程 是 非 平 稳 的 。 在 20 世纪 50 年 





中 ”关于 线性 估计 的 要 点 受到 下 列 评 论文 章 的 影响 :Sorenson(1970) 、Kailath{ 1974) 和 Makhoul{ 1975). 
的” 维 纳 -车 去 方程 ( 原 表 未 为 积分 卢 程 为 因 开 约束 下 连续 线性 被 波 器 的 最 记 解 。 这 个 方程 很 难 解 ,因此 导致 包括 谱 
分 解 在 内 的 大 量 理 论 问题 的 研究 。 该 课题 的 综述 见 Gardnert1990) 的 论文 。 
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代 , Wiener-Kolmogorov 滤波 器 理论 已 由 许多 学 者 进行 了 一 些 推 广 , 以 便 估 计 仪 对 有 限 观 测 闻 中 
的 平稳 过 程 以 及 估计 非 平稳 随机 过 程 。 然 而 ,由 于 这 些 结果 太 复 杂 ,很 难 随 观测 间 申 的 增加 而 
更 新 ,而 且 很 难 收 改 成 可 用 于 向 量 情 况 , 因 此 许多 研究 者 不 满意 这 个 时 期 大 密 数 有 意义 的 结 
果 。 后 而 两 种 困难 在 20 世纪 50 年代 后 期 确定 卫星 运行 轨道 的 情况 下 变 得 特别 明显 。 症 这 种 
应 用 中 ,通常 存在 位 置 和 速度 的 某 些 组 全 构成 的 问 量 观 测 ,而 及 随 跟踪 站 卫星 的 每 个 通路 也 相 
继 累 积 了 大 量 数据 。Swerling 是 提出 某 些 有 上 用 递归 算法 以 着 手 解决 这 个 问题 最 早 的 一 个 人 
(Swerling 1958), FHP ARTS] AOI, OR & ( Kalman) tA tH E Swerling 算法 称 多 一 点 约束 的 算 
FE (ATE UP EAB VR a es TT — BK Kalman, 1960), TEE OK 
SBERRRCRHEARBE HYAMS ZI, Swerling( 1963) 5 T -HRA RFE REN 
程 具 有 优先 权 。 然 而 ,Swerling HUER A ABR. SAME IESE, SIE ER 
地 促进 了 高 斯 最 小 二 乘法 和 卡尔 受 滤 波 器 的 研究 ,但 在 每 种 情况 下 都 存在 有 关 它 们 发 明 者 的 
和 争吵。 卡尔 曼 原来 的 线性 撼 波 公式 已 被 推导 由 于 离散 时 间 过 程 。 在 与 Bucy 的 一 系列 合作 中 ， 
卡尔 基 提 出 了 连续 时 间 卡 尔 坚 滤 波 器 ,因此 这 种 连续 时 间 滤 波 器 有 时 也 称 为 Kalman-Bucy 滤波 
Aa (Kalman & Bucy, 1961). 

在 一 系列 令 人 兴奋 的 论文 中 ,Kailath 利用 新 息 方 法 重新 表示 了 线性 滤波 问题 的 解决 方案 
(Kailath, 1968 , 1970; Kailath & Frost, 1968; Kailath & Geesey, 1973)。 在 这 个 方法 中 ,随机 过 程 
at nm) 表示 为 一 个 由 白 响 声 过 程 wm) 粕 励 的 因果 和 因果 可 道 滤 波 器 的 输出 , 它 称 为 新 息 过 程 
(innovations process) ,其 中 术语 " innovation" 表示 新 息 。 使 用 这 个 本 语 的 原因 在 于 过 程 (nm) 的 每 
个 样 值 提供 了 全 新 的 信息 ,其 含义 是 它 统计 独立 于 原 过 程 w(n} 的 所 有 过 去 样 值 ,并 候 设 其 具 
有 高 斯 特性 ;否则 ,每 个 样 值 与 &na) 的 所 有 过 去 样 值 不 相关 。 新 息 方 法 之 后 的 思想 由 Kolmog- 
orov( 1939) 5] A. 
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随机 梯度 算法 


最 早 的 自 适应 滤波 器 工作 可 以 追溯 到 20 世纪 50 年 代 末期 ,在 这 个 时 期 大 量 的 研究 者 独 
立 工作 在 这 种 滤波 器 的 不 同 应 用 领域 。 依 赖 于 这 类 早期 工作 ,而 现 了 最 小 均 方 (IMS) 算 法 , 它 
成 为 运行 横向 滤波 器 的 一 种 简单 而 有 效 的 算法 。LMS 算法 是 Widow 和 Hoff 在 1959 年 研究 自 
适应 线性 (门限 逻辑 ) 元 素 的 模式 识别 方案 时 发 明 的 ,这 些 自 适应 线性 元 素 在 文献 中 通常 称 为 
Adaline( Widrow & Hoff, 1960; Widrow, 1970), LMS 算法 是 一 种 随机 梯度 算法 , 它 在 相对 于 抽 头 
权 值 的 误差 信号 平方 幅度 的 梯度 方向 上 选 代 调 整 每 个 抽 头 权 值 。 因 此 ,LMS WE Robbins 和 
Monro( 19S1) 在 统计 学 中 求解 某 些 序列 参数 估计 问题 时 的 随机 逼近 概念 有 密切 的 关系 。 它 位 
之 间 的 主要 差异 在 于 :LMS 算法 采用 固定 的 步 长 参数 控制 从 一 次 迭代 到 另 一 次 选 代 的 每 个 抽 
头 权 值 的 修正 ;而 在 随机 逼近 方法 中 , 步 长 参数 与 时 间 n 或 n 的 者 次 成 正比 。 另 外 一 种 与 
LMS 算法 紧密 相关 的 随机 梯度 算法 是 梯度 自 适 应 格 型 (GAL) 算 法 (Gnffiths，1977，1978)。 它 
们 之 间 的 差异 是 结构 上 的 差异 ,CLA 算法 以 格 型 结构 为 基础 ,而 LMS 算法 使 用 横向 滤波 器 。 

在 1981 年 ,Zames 引 人 了 8H” 范 数 作为 求解 估计 和 控制 问题 性 能 的 鲁 棱 指标 ,而 县 利用 
它 , 鲁 棱 控 制 流行 新 的 研究 方向 。 在 这 个 范畴 特别 值得 指出 的 是 , Hassibi 等 证 明了 LMS 算法 
在 中 "准则 下 的 确 是 最 优 的 { Hassibi et al., 1996). FE, LMS 算法 鲁 棱 性 能 的 理论 证 明 首 次 
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被 介绍 。 人 们 还 感 兴趣 地 注意 到 ,表示 通信 信道 自 适应 均衡 用 LMS RRA BSR, 
也 使 用 了 极 大 - 极 小 (minimax) 形 式 的 最 优 准 则 (Lucky，1965)。 


递归 最 小 二 第 算法 


在 转向 递归 最 小 二 莱 (RIS) 族 自 适 应 滤波 算法 时 ,我 们 发 现 标 准 的 RIS 算法 似乎 就 是 
Plackett 算法 (1950) ,尽管 人 们 可 能 会 说 其 他 许多 研究 者 也 推导 或 重新 推导 了 各 种 形式 的 RLS 
算法 。1974 年 ,Codard 应 用 卡尔 组 滤波 宜 理 论 导 出 了 一 种 变型 算法 ,文献 中 有 时 称 之 为 Godard 
算法 。 此 前 ,若干 研 究 者 已 经 把 卡尔 最 滤波 器 型 论 应 用 于 解 沁 自 适应 滤波 问题 ,但 在 20 年 间 ， 
Godard 算法 一 直 被 广泛 认为 是 卡尔 最 滤 波 器 理论 最 成 功 的 一 项 应 用 。 后 来 ,Sayed 和 Kailath 发 
表 了 一 篇 述评 文章 ,首次 确立 了 RIS 算法 与 卡尔 曼 滤 波 器 理 沦 之 问 的 精确 关系 , 它 为 如 何 利 
用 大量 卡尔 学 滤波 髓 文献 解决 线性 自 适 应 滤波 问题 莫 定 了 基础 。 

1981 年 ,Gentleman 和 Kung 引入 一 种 基于 和 矩阵 代数 中 OR 分 解 的 数值 鲁 棱 的 方法 来 求解 
RLS 和 问题。 得 到 的 自 适 应 滤波 髓 结构 [有 时 称 为 Gentleman 和 Kung 脉动 (systolic) 阵列 ] 接 着 被 
许多 其 他 研究 者 重新 提炼 ,并 以 各 种 方法 加 以 推广 。 

在 2 世纪 了 0 年 代 及 接 下 来 的 日 子 蜂 ,人 们 耗费 大 量 精力 努力 开发 研究 数值 稳定 的 快速 
RLS 算法 ,其 目的 是 把 RLS 算法 的 计算 复杂 性 降低 到 可 与 LM 算法 相 比 较 的 水 平 。RIS 算法 
的 研究 可 追 济 到 1974 年 Morf 求解 随机 滤波 问题 {对 于 平稳 输入 ,该 问题 可 利用 Levinson-Durbin 
算法 有 效 地 获得 解决 ) 的 确定 性 对 应 物 时 所 导出 的 结果 。 

Sayed 和 Kailath(1994) 的 论文 开 拭 出 RLS 算法 与 卡尔 曼 滤 滤器 理论 之 间 的 一 一 对 应 关系 ， 
以 便 证 明基 于 OR 分 解 的 RLS 算法 和 快速 RLS 算法 事实 上 都 是 卡尔 曼 滤波 器 的 特例 ,从 而 以 
一 种 相当 灵巧 和 紧凑 的 方式 提供 了 RLS 族 线性 自 适 应 滤波 器 的 一 种 统一 性 论述 。 

传统 上 ,单位 延迟 用 来 构造 以 横向 滤波 器 结构 为 基础 的 各 种 线性 自 适 应 滤波 器 。 另 外 ,我 
们 还 可 使 用 袜 向 Laguere 结构 { 兄 图 9). Merched 和 Sayed (2000, 2001) 介 绍 了 阶 递归 RIS- 
Laguerre 泪 波 器 的 设计 方法 。 这 些 滤 恋 器 与 传统 的 精确 最 小 二 乘 格 型 泪 波 器 之 但 的 不 同 之 处 
在 于 ,数据 阵 的 相继 列 不 是 相互 时 间 移 位 型 。 


自 适应 信号 处 理应 用 


自 适应 均衡 


直到 为 世纪 急 年 代 初 期 ,能 消除 符号 间 干 扰 对 数据 传输 恶化 影响 的 电话 信道 均衡 由 国定 
均衡 器 (引起 性 能 丢失 ) 或 人 工 调整 参数 的 均衡 器 (步骤 相当 麻烦 ) 来 完成 。1965 年 ,Lucky 在 
均衡 问题 方面 取得 了 突破 性 的 进展 ,他 提出 迫 零 算法 并 用 来 自动 调整 模 向 均衡 右 的 抽 头 加 权 
系数 。Lucky 工作 的 显著 特征 是 使 用 极 大 - 极 小 型 性 能 准则 。 特 别 地 ,他 使 用 称 为 峰值 失真 的 
性 能 指标 ,该 失真 直接 与 所 发 生 的 最 大 符号 间 干 扰 (ISI, intersymbol interference) 有 关 。 它 对 横 
向 均衡 器 内 的 邻近 脉冲 所 引起 的 符号 间 和 干扰 具有 强迫 为 零 的 作用 ,从 而 得 名 为 迫 零 算法 。 最 
优 人 迫 零 算法 的 充分 条 件 ( 不 是 必要 条 件 ) 是 其 初始 失真 (存在 于 均衡 器 输入 端的 和 失真) 小 于 1。 
1965 年 ,DiToro 独立 地 把 自 适应 均衡 器 应 用 于 对 抗 符 号 间 于 扰 对 高 频 链 路 数据 传输 的 影响 。 

Lucky 的 开创 性 工作 以 这 样 或 那样 的 方式 受到 自 适 应 均衡 问题 其 他 各 方面 重要 贡献 的 喜 
舞 和 激励 。Gersho( 1969) 以 及 Proakis 和 Miller(1969) 使 用 最 小 均 方 误差 准则 ,独立 地 重新 描述 
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了 自 适 应 均衡 问题 .1972 年 ,Ungerboeck 使 用 LMS 算法 对 自 适 应 横向 专 衡 器 的 收 襄 性 进行 了 
详细 数学 分 析 。 如 前 所 述 ,Godard 于 1974 年 应 用 卡尔 晕 滤 波 髓 理论 导出 了 调整 模 向 均衡 器 抽 
头 加 权 系 数 的 一 种 高 效 算 法 。1978 年 ,Falconer 和 Ljung 介绍 了 该 算法 的 一 种 修正 ,从 而 将 其 
计算 复杂 性 简化 到 可 与 简单 的 LMS 算法 比较 的 程度 。Satorius 和 Alexander(1979) 以 及 Satorius 
和 Pack(1981) 证 明了 色散 信道 格 型 自 适 应 均衡 算法 的 实用 性 。 

前 重 的 历史 回顾 主要 包括 线性 同步 接收 机 中 自 适应 均衡 器 应 用 ,其 中 “同步 "一 词 意味 着 
该 接收 机 中 均衡 器 的 抽 涉 他 陋 等 于 符 伟 率 的 倒数 。 尽 管 我 们 对 自 适 应 均衡 器 的 兴趣 都 集中 于 
上 述 这 类 均衡 器 上 ,但 如 果 不 提 及 分 数 间 隔 均 衡器 和 判决 反 局 均衡 器 ,这 样 的 历史 回 太 将 是 不 
完整 的 。 

在 分 数 间 陋 均衡 器 (FSR fractionally spared equalizer) 中 ,均衡 器 抽 头 间隔 严格 地 大 于 符 导 
率 的 倒数 。FSE 比 传 统 的 同步 均衡 器 具有 强 得 多 的 有 效 补 偿 延 人 退 失真 的 能 为 。FSE 的 另 一 优 
点 是 数据 传输 呆 从 任 一 取样 阶段 开始 。 然 而 , FSE 的 数学 分 析 比 传统 的 同步 均衡 器 要 复杂 得 
Æ. FSE 的 早期 工作 可 认为 开始 于 Brady(1970) 的 著作 。 有 关 该 课题 的 其 他 文献 还 包括 Unger- 
boeck( 1976) Gitlin 和 Weinstein(1981) 后 来 的 著作 。 在 20 世纪 90 年 代 初 期 ,人 们 把 香客 的 目 
光 投 向 分 数 均衡 器 的 效益 , 即 研究 如 何 仅仅 使 用 二 阶 统计 量 就 能 将 分 数 均 衡器 用 于 信道 育 均 
衔 上 。 此 前 ,一般 的 常识 是 只 有 最 小 相位 信道 能 够 以 这 种 方式 辨识 或 均衡 ,因为 二 阶 统计 量 对 
信道 输出 的 相位 信息 不 甘心 (实际 上 ,二 阶 统计 量 中 不 含有 信道 输出 的 相位 信息 )。 热 而 ,这 个 
结论 仅仅 对 平稳 二 阶 统 计量 成 立 。 用 于 分 数 间隔 均 衡器 的 过 抽样 表明 ,二 和 阶 统计 量 是 循环 平 
稳 的 , 它 把 一 个 新 的 维 数 ( 即 周期 ) 增 加 到 信道 输出 的 描述 中 (Franks, 1959; Gardner & Franks, 
1975; Gardner, 1994a,b}. Tong 及 其 合作 者 (1993，1994a,b) 示 出 如 何在 弱 运 行 条 件 下 把 循环 
平稳 性 有 效 地 用 于 言 均衡 。 他 们 的 论文 引起 该 领域 研究 活动 的 激增 ,包括 各 种 推广 .重新 改进 
以 及 相继 出 现 的 许多 变种 ,例如 Tong 和 Perreau 的 综述 性 论文 (Tong & Perreau, 1998). 

判决 反馈 均衡 器 包括 前 馈 部 分 和 反馈 部 分 。 前 馈 部 分 由 其 抽 涉 具有 符 导 率 间 隔 的 横向 滤 
波 器 组 成 。 待 均衡 的 数据 序列 被 用 做 这 部 分 的 输 人 。 友 局 部 分 由 其 抽 头 也 共有 符号 率 间隔 的 
另 一 机 向 滤波 宫 组 成 。 加 到 反馈 部 分 的 输入 按 前 面 检测 的 符号 做 判决 。 前 馈 部 分 的 作用 是 减 
去 来 自 未 来 符号 估计 的 前 面 答 测 符 导 所 产生 的 符号 间 干 扰 。 这 种 方法 ,通常 称 为 自 举 技术 
(bootstrap techmique)。 在 出 更 严重 符号 间 干 扰 时 (例如 ,无 线 误 落 信道 所 经 受 的 那 种 干扰 ) Al 
决 反 司 均衡 器 可 获得 良好 的 性 能 。Austin(1967) 最 先 报道 了 判决 反馈 均衡 器 ,而 Monsen(1971) 
第 一 个 完成 了 最 小 均 方 误差 分 析 中 判决 反馈 接收 机 的 优化 。 


语音 编码 


1966 年 ,Itakua 和 Saito 把 最 大 似 然 法 (maximum_likelihood approach) 用 于 语音 预测 。 在 最 大 
似 然 原理 应 用 中 ,一般 假设 输 人 过 程 是 高 斯 过 程 。 在 这 个 条 件 下 ,该 原理 的 正确 应 用 将 获得 一 
个 关于 预测 器 系数 的 非 线 性 方程 组 。 为 了 克服 这 个 困难 , takua 和 Saito 利用 了 那些 具有 可 用 
数据 点 数 大 大 超过 预测 阶 数 的 通 近 。 该 假 设 的 使 用 使 得 由 最 大 似 然 原理 获得 的 结果 与 线性 预 
测 自 相关 法 的 近似 形式 相同 。 最 大 似 然 原理 的 应 用 证 实 了 关于 语音 信和 号 是 平稳 高 斯 过 程 的 假 
设 是 正确 的 ,尤其 在 清音 情况 下 这 种 假设 看 来 是 可 行 的 。 

1970 年 ,Alta 介绍 了 线性 预测 在 语音 分 析 中 的 首次 应 用 。 这 个 语音 分 析 和 合成 的 新 方法 
是 1971 年 由 Atal 和 Hanner 发 表 的 。 这 个 新 方法 韦 做 线 人 性 预测 编码 (LPC,linear predictive ood- 


22 自 适应 滤波 器 原理 





ing)。 在 LPC 中 ,按照 与 声 道 转移 图 数 和 所 提取 特征 有 关 的 时 变 参 数 直接 表示 语音 波形 。 人 
们 通过 使 均 方 误差 ( 定 久 为 语音 样 舍 的 实际 值 与 其 预测 值 之 差 ) 最 小 化 确定 预测 器 系数 。 在 
Atal 和 Hanauer 的 工作 中 ,语音 以 10 kHz 速率 采样 ,然后 预测 当前 语音 样 值 作 为 前 面 12 个 样 值 
的 线性 组 合 ,并 进行 语音 分 析 。 于 是 ,15 个 参数 [12 个 预测 参数 、 基 音 周 期 表示 语音 是 济 音 还 
是 清音 的 二 进 制 参数 .语音 样 值 的 平方 根 {(mms,mot-mean-square) 值 ]。 对 于 语音 合 或 ,使 用 全 极 
SURES FETE A EE E A pe AR 

语音 线性 预测 的 另 一 个 重要 贡献 是 由 takua 和 Saito 在 1972 年 做 出 的 ,他 们 使 用 偏 相关 
技术 研究 出 一 种 新 的 结构 一 一 格 型 结构 ,并 用 它 巾 示 线 性 预测 问题 了 。 这 个 用 来 表征 格 型 预 
测 器 的 参数 叫做 反射 系数 。 尽 管 到 1972 年 若干 其 他 研究 者 已 经 考虑 格 型 结构 的 要 素 ,但 格 型 
结构 的 发 明 仍 然 应 该 归功 千 Itakura 和 Saito, 1973 年 , Wakita 证 明了 格 型 预测 器 模型 的 滤波 作 
用 和 语音 的 声 道 模 型 是 相同 的 ,二 者 均 以 声 道 模型 中 的 反射 系数 作为 共同 因子 。 这 一 发 现 使 
得 有 可 能 利用 格 卉 预测 器 提取 上 反射 系数 。 

语音 信和 号 线性 预测 模型 的 局 限 性 在 于 不 能 恢复 离散 频谱 样 值 的 修正 包 络 , 而且 这 个 局 限 
性 可 追 湖 到 选择 最 小 均 方 误差 作为 线性 预测 建 模 的 准则 。 为 了 缓解 这 个 问题 , Hakua 和 Saito 
{1970) 研 究 开发 了 儿 音 谱 包 络 估计 的 最 大 似 然 方法 ;在 这 样 做 的 时 候 , 他们 引 人 和 一 个 称 为 
Ttakura-Saito 距离 测度 的 新 准则 。 这 项 研究 还 伴随 以 McAulay (1984) 及 El-Jaroudi 和 Makhoul 
(1991) 所 做 出 的 进一步 贡献 。 

格 型 预测 器 的 早期 工作 以 块 处 理 方法 {Burg，1967) 为 基础 。1981 年 , Makhoul 和 Cossell 用 
自 适 应 方法 设计 用 于 语音 分 析 与 合成 的 格 型 预测 器 。 他 们 证 明了 在 其 性 能 与 最 佳 ( 但 更 总 贵 ) 
自 适应 自 相 关 方 法 相同 的 情况 下 , 自 适 应 格 型 预测 莫 的 收 钱 仍然 足够 快 。 

直到 现在 ,我 们 所 介绍 的 语音 编码 一 直 与 LPC 声 码 器 有 关 。 下 面 ,我 们 将 从 原始 的 脉 码 
调制 (PCM pulse-code modulation) 开 始 ,给 出 语音 自 适 应 预测 编码 的 历史 回顾 。 

PCM 是 Reeves 在 1937 年 发 明 的 。 后 来 Cutler( 1952) 发 明了 差分 脉 码 调 制 (DPCM, differen- 
tial pulse-code modulation)。 语 音信 和 号 自 适 应 编码 中 DPCM 的 早期 使 用 限于 固定 参数 的 线性 预 
测 器 (MeDonald，1966)。 然 而 ,因为 语音 信和 号 的 非 平稳 特性 ,国定 预测 器 不 能 在 所 有 时 间 内 都 
有 效 地 预测 信和 号 值 。 为 了 响应 语音 信号 的 非 平稳 特性 ,预测 器 必须 是 自 适 应 的 。 在 1970 年 ， 
Atal 和 Schroeder 阐述 了 一 种 实现 语音 自 适应 预测 编码 的 高 级 方案。 该 方案 认为 ,在 语音 中 存 
在 元 余 度 有 两 个 主要 原因 (Schroeder，1966):(1) 沸 音 块 的 淮 周期 性 ;(2) 短 时 谱 包 络 的 不 平坦 
性 。 于 是 ,为 了 去 除 信 号 元 余 度 ,预测 蜗 设 计 成 两 级 ;首先 去 除 信号 的 准 周 期 性 ;其 次 从 谱 包 络 
中 移 走 共 振 峰 。 该 方案 惊人 地 降低 了 比特 率 , 但 以 大 量 增加 电路 复杂 性 为 代价 。Atal 和 Schr- 
oeder( 1970) 报 道 ,该 方案 能 以 10 kb/s 的 速率 传送 语音 。 它 比 对 数 PCM 编码 所 要 求 的 比特 率 低 
好 几 倍 ,并 具有 可 比 的 语音 质量 。 


谱 分 析 


19 世纪 末 ,Schuster 引入 时 间 序 列 功率 谱 分 析 的 周期 图 法 (Schuster,1898)。 周 期 图 定义 为 
序列 离散 傅 里 叶 变 换 的 幅度 平方 。 周 期 图 原来 由 Schuster 应 用 于 检测 和 估计 含有 噪声 的 已 知 
频率 正弦 波 的 幅度 。 直 到 1927 年 Yule 完成 他 的 工作 之 前 ,周期 图 法 是 可 用 于 谱 分 析 的 惟一 


D 根据 Markel 和 Grey(1976}, 日 本 的 Itakura 和 Saito 于 1969 年 介绍 了 线性 预测 PARCOR 公式 的 工作 。 
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数值 方法 。 然 而, 当 周 期 图 法 用 于 自然 界 中 观测 到 的 高 度 不 稳定 时 间 序 列 时 ,该 方法 受到 很 大 
限制 。 这 一 限制 导致 Yule 在 他 的 有 关 Wolfe 太阴 睦 子 数 时 间 序 剂 局 期 研究 中 ,引入 基于 平稳 
随机 过 程 有 限 参 数 模型 概念 的 新 方法 (Yule, 1927), E L, Yule 创造 性 地 提出 随机 反馈 模 
型 ,在 该 异型 中 时 间 序 列 的 当前 样 值 假说 由 过 去 样 值 的 线性 组 台 加 上 上 误 益 项 组 成 。 这 个 模型 
niii È EIHAR MAA (autoregressive model) ,在 该 模型 中 时 间 序 列 的 某 一 样 值 按 其 自身 过 去 值 
回归 而 成 ,因此 基于 这 一 模型 的 谱 分 析 方 法 叫做 自 回归 谱 分 析 (autoregressive spectrum analys- 
is), “AEA” (ARITA FRA Wold 在 他 的 博士 论文 中 创造 的 { Wold,1938)。 

Burg 的 研究 工作 重新 燃 起 人 人 们 对 白 回 归 方 法 的 全 究 兴 赵 (Berg，1967，1975), 他 引入 术语 
“最 大 炳 方法 (maximum-entrmopy method)”, 并 用 它 米 描述 直接 从 得 到 的 时 间 序 列 估计 功率 谱 的 
方法 。 最 大 烦 方法 的 基本 思想 是 以 外 推 的 方法 推出 序列 的 白 相 关上 明 数 ,该 方法 在 外 推 的 每 一 
步 都 使 相应 的 概率 密度 函数 最 大 化 。1971 年 , Yan den Bos WE RARR AHER A AR 
型 对 已 知 白 相关 序列 的 最 小 二 乘 拟 合 。 

谱 分 析 的 另 一 个 重要 贡献 是 由 Thomson( 1982) 做 出 的 。 他 的 基于 长 袜 球 夯 波 函数 的 多 得 
口 法 是 一 种 非 参 数 谱 估计 法 ,该 方法 克服 了 前 面 所 述 技术 的 许多 由 制 。 


自 适 应 噪声 消除 


自 适应 回音 消除 器 的 最 初 工 作 大 约 始 于 1965 年 。 就 语音 信号 自身 用 于 完成 自 适应 而 言 ， 
页 尔 电话 实验 室 的 Kelly 第 一 个 提出 把 自 适 应 滤波 吴 用 于 回音 消除 。Kelly 的 贡献 为 Sondhi 
(1967) 的 论文 所 认同 。 该 发 明 及 其 改进 体现 在 Kelly 和 Logan(1970) 和 和 Sondhi(1967) 的 专利 中 。 

由 Widow 及 其 斯 坦 福 大 学 的 合作 者 发 明了 自 适应 谱 线 增强 器 (adptive line enhancer)。 该 
装置 的 初 型 构建 于 1965 年 ,用 来 消除 心电图 放大 器 和 译 码 器 输出 端的 60 Hz FR Widow 等 
(1975b) 在 其 论文 中 介绍 了 这 项 工作 。 自 适应 谱 线 增强 器 及 其 用 做 自 适 应 检测 器 等 内 容 在 
McCool 等 的 专利 中 做 了 介绍 。 

尽管 自 道 应 回音 消除 器 和 自 适 应 谱 线 增强 器 作为 不 辣 的 应 用 ,但 均 可 看 做 Widrow 等 
(1975Sb) 所 述 自 适 应 噪声 消除 器 的 应 用 实例 。 这 个 方案 运行 在 两 个 传感器 (提供 感 兴趣 含 噪 期 
望 信号 的 基本 传感器 和 只 提供 噪声 的 参考 传感器 ) 的 输出 端 。 假 设 :(1) 基 本 传感器 输出 的 迟 
号 与 噪声 不 相关 ;(2) 参 考 传感器 输出 端的 噪声 与 基本 传感器 输出 端的 噪声 分 量 相 头 。 

自 适 应 噪声 消除 器 让 运行 在 参考 传感器 输出 端的 自 通 应 滤波 器 组 成 。 这 个 自 适 应 滤波 着 
用 来 估计 噪声 ,然后 从 基本 传感器 输出 中 减 去 该 噪声 估 值 。 消 除 器 的 总 输出 月 来 控制 口 适应 
滤波 器 中 抽 头 加 权 系 数 的 调整 。 自 适应 消除 器 使 总 输出 的 均 方 值 趋 于 最 小 ,从 而 产生 最 小 均 
方 误差 意义 下 期 望 信号 最 好 估计 的 输出 。 
自 适 应 波束 形成 

自 适应 波束 形成 的 研究 可 追溯 到 20 世纪 50 年 代 后 期 Howells 发 明 中 频 ( 正 ,intemnediate 
frequency ) ZA BR AF (sidelobe canceller) a 在 IEEE 2% S #831 Fi (IEEE Transactions on Anten- 
nas and Propagation) 1976 年 专辑 发 表 的 一 篇 论文 中 , Howells 介绍 了 他 对 通用 电气 公司 和 Syra- 
euse 大 学 研究 公司 自 适 应 天 线 早 期 工作 的 个 人 意见 和 评论 。 根 据 这 份 历史 性 报告 Howells FF 


在 1957 年 就 已 经 开发 出 能 够 自动 使 人 为 干扰 影 响 降 为 零 的 旁 办 消除 器 。 该 旁 状 消除 器 使 用 
一 个 基本 {高 增益 ) 天 线 和 一 个 非 定向 参考 ( 低 增益 ) 天 线 , 并 由 此 组 成 具有 一 个 自由 度 的 双 天 
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线 阵 ,该 天 线 阵 能 够 在 组 合 天 线 模式 旁 锦 区 域内 的 任何 她 方 控 制 极端 微弱 的 信号。 特别 二 ,一 
个 微弱 信号 被 放 在 人 为 于 扰 方 向 上 , 且 仅 有 主 匆 的 某 一 微小 扰动 。 其 后 , Howells(1965) 获 得 旁 
PIA RES Al 

自 适应 天 线 阵 的 第 二 个 主要 贡献 是 由 Applebaum 在 1966 年 做 出 的 。 在 -~- 份 权威 报告 中 ， 
他 推导 了 带 有 各 冬 环 路 作为 阵 元 的 管理 自 适 应 天 线 阵 运行 的 控制 定律 (Applebaum，1966)。 由 
Applebaum 导出 的 算 东 以 任意 曲 声 环境 下 使 天 线 阵 输出 信 曲 比 (SNR signal-to-noise ratio) 最 大 
化 为 基础 。Applebaum 的 理论 包括 旁 淤 消除 器 作为 一 个 特例 。 他 的 1966 年 有 名 的 报告 在 IEEE 
天 线 与 广播 汇 刊 1976 年 的 专辑 中 重印 。 

自 适 应 阵列 天 线 中 加 权 调 整 的 另 一 个 算法 是 Widow 与 其 斯 坦 福 大 学 合作 者 在 1967 年 独 
立 提出 的 。 他 们 将 其 理论 建立 在 简单 而 有 效 的 LMS 算法 的 基础 上 。Widmw 等 1967 年 的 论文 
不 仅 是 有 关 自 适应 阵列 天 线 公 开发 表 的 文献 中 的 首 篇 出 版 物 ,而 且 也 被 认为 是 该 领域 的 另 一 
经 典 之 作 。 

值得 一 提 的 是 , 自 适 应 阵列 天 线 的 最 大 SNR 算法 (被 Applebaum 采用 ) 与 LMS 算法 (被 
Widow 及 其 合作 者 使 用 ?是 相当 类 似 的 。 二 者 都 通过 自动 检测 关 线 阵 元 信号 之 间 的 自 相 关 推 
导出 阵列 天 线 中 权 值 自 适 应 调整 的 控制 定律 。 的 确 , 对 于 平稳 输入 ,它们 都 收 全 于 最 佳 维 纳 解 
(Gabriel, 1976). 

Capon(1969) 提 出 了 求解 自 适 应 波 东 形成 问题 的 各 种 方法 ,他 认为 延迟 和 (delay-and-sum) 
波束 形成 器 性 能 差 是 由 于 它 治 感 兴趣 方向 的 啊 应 不 仅 取 决 于 人 射 日 标 售 号 的 动 率 , 而 且 取 决 
于 从 其 他 干扰 源 接 收 到 的 不 想 要 的 成 分 。 为 了 克服 这 种 限制 , Capon 提出 一 种 新 的 波束 形成 
器 , 它 对 所 有 rn, 通过 选择 权 向 量 w(n), 使 得 在 w" (n)s( 0) = 1 约束 条 件 下 输出 方差 ( 即 平 均 
功率 ) 最 小 ,其 中 88) 是 转向 向 量 。 该 约束 极 小 化 得 到 一 个 具有 最 小 方差 无 失真 响应 (MYDR， 
minimum-variance distortionless response) 的 自 适应 波 划 形成 器 。 

1983 4, McWhirter 提出 用 于 最 小 二 乘 估计 的 一 种 简化 形式 的 Gentleman-Kung( 脉 动 ) 阵 列 。 
出 此 得 到 的 滤波 结构 称 为 McWhirter 脉动 ) 阵 列 , 它 特别 适合 于 自 适应 波束 形成 应 用 。 

在 这 个 导 引 性 章节 中 ,我 们 并 不 试图 对 自 适应 滤波 器 原理 及 应 用 做 出 全 面 完 整 的 历史 回 
顾 。 相 反 ,我 们 力图 将 注意 力 集 中 于 那些 对 日 益 扩 大 的 自 适 应 信 生 处 理 领域 的 重要 部 分 做 出 
重要 贡献 的 方面 。 最 重要 的 是 ,我 们 希望 这 样 做 能 够 对 读者 有 所 激励 和 启发 。 


Hl 随 机 过 程 与 模型 


随机 过 程 (atochastic process 或 random process) 这 个 术语 用 来 描述 按照 概率 规律 随时 间 变 化 
的 统计 现象 的 时 间 演 变 。 该 现象 的 时 间 演 变 意 味 着 随机 过 程 是 定义 在 某 些 观测 间隔 上 的 时 间 
函数 。 该 现象 的 统计 特性 表明 ,在 进行 一 次 实验 之 前 是 不 可 能 精确 定义 其 时 间 上 演变 方式 的 。 
随机 过 程 的 例子 包括 语音 信号 .电视 信和 号 .雷达 信号、 数字 计算 机 数据 、 通 信 信 道 的 输出 .地 震 
学 数据 和 噪声。 

我 们 感 兴趣 的 一 种 随机 过 程 是 在 离散 时 间 均 匀 问 陋 抽 样 下 定义 的 (Box & Jenkins, 1976; 
Priestley, 1981)。 在 实践 中 自然 会 提出 这 样 一 个 限制 条 件 , 比 如 雷达 信号 或 数字 计算 机 数据 。 
相反 地 ,随机 过 程 也 可 以 对 连续 范围 实数 时 间 值 定义 ,但 在 处 理 前 , 它 要 经 过 均匀 抽样 ,而 且 要 
选择 抽样 率 大 于 该 过 程 最 高 频率 分 量 的 二 倍 以 上 。 

随机 过 程 并 不 只 是 时 间 的 郴 数 。 实 际 上 ,在 理论 上 它 表 示 了 该 过 程 的 无 限 多 个 不 同 实现 ， 
其 中 离散 时 间 戎 机 过 程 的 一 个 特殊 实现 称 为 时 间 序 列 。 例 如 ,序列 un) ula 1), n, 
uln 一 放 ) 家 示 这 样 一 个 时 间 序 列 , 它 包含 时 刻 n 所 得 的 当前 观测 值 w(n) 和 在 时 刻 n - 1， 
n 一 2,…,n -及 所 得 的 六 个 过 去 观测 值 。 

如 果 随 机 过 程 的 性 质 不 随 着 时 间 变 化 而 变化 , 则 称 该 过 程 严 格 平稳 。 具 体 地 ,如 果 时 间 序 
列 ula) uln-1) eula- M) 表示 的 离散 时 间 随 机 过 程 是 严格 平稳 的 , 则 M 一 定时 ,无 论 
对 地 赋 什么 值 ,用 时 刻 n,n -11,5 一 2,…,n 一 上 用 表示 的 随机 变量 的 联合 概率 密度 都 必须 保持 
不 变 。 


1.1 离散 时 间 随 机 过 程 的 部 分 特性 


在 实际 中 ,我 们 经 常 发 现 不 可 能 确定 随机 过 程 的 任 一 观测 值 集合 的 联合 概率 密度 。 因 此 ， 
必须 用 其 第 一 和 第 二 时 刻 规定 的 过 程 部 分 特性 来 自我 满足 。 
考虑 由 时 间 序 列 ulaula- eula - 入) (该 序列 可 以 是 复数 值 序列 ) 表 示 的 离散 
时 间 随 机 过 程 。 为 简化 术语 了 ,我 们 用 utn) 米 表示 这 样 一 个 过 程 ; 而 且 该 简化 术语 贯穿 全 书 。 
Bote HS fee LH 
p(n) = Elu(n}] (1.1) 


其 中 5 表示 统计 期 望 运算 符 。 定 义 过 程 的 自 相关 函数 为 


rin,n — k) = Elu(nju*(n —k)] k= 0,41,42,... (1.2) 
其 中 星 号 ( * ) 表 示 复 数 共 罗 。 过 程 的 自 协 方差 函数 定义 为 
c(n,n — k) = E[(u(n) — pln) )(u(n — k) — pln RY] k= 0,41,22,... (1.3) 


”严格 来 说 ,我 们 应 该 使 用 大 写 符号 一 一 Un) 表示 一 个 离散 时 间 随 机 过 程 ,其 相应 的 小 写 符 苇 un) eon EE 
本 。 我 们 并 未 这 样 做 的 目的 是 为 了 简化 说 明 。 
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出 式 (1.1) 到 式 (1.3) 可 见 , 过 程 的 均值 . 自 相 关 和 自 协 方差 本 数 之 问 的 关系 如 下 
(n,n ~ k) = rin, n = k) ~ pp — k) (1.4) 

对 于 随机 过 程 的 局 部 (二 阶 ) 特 性 ,有 必要 对 an,(n ,为 整数 ) 的 不 同 取 值 , 规 定 如 下 函 
数 :(1) 均 值 函 数 y(n);(2) 自 相关 函数 rn，n - 上) 或 白 协 方差 函数 Can- k) HER RT 
Aion MBA x(n) 都 为 零 时 , 自 相关 和 自 协 方差 丽 数 具有 相同 值 。 

这 种 形式 的 局 部 特性 有 两 个 重要 优 扣 ; 

1) 送 合 于 实际 测量 。 

2) 适合 于 随机 过 程 线性 运算 。 

对 于 一 个 严格 平稳 的 离散 时 间 随 机 过 程 , 式 (1.1) 到 式 (1.3) 定 义 的 所 有 三 个 量 都 假设 为 
简化 形式 。 贞 体 来 说 ,我 们 发 现 过 程 的 均值 钱 数 是 一 个 常数 (假定 ) ,因此 可 以 写成 


pfmy=A WPB n (1.5) 
我 们 还 发 现 , 自 相 关 和 自 协 方差 函数 内 依赖 村 观测 时 刻 n Al — k HK B 
rinvn — k) = r(k) (1.6) 
和 
c(a,n — k) = c{k) (1.7) 
当 训 =0 时 ,对 应 于 堆 时 间 差 或 零 延迟 ,r(0) 等 于 ul(n) 的 均 方 值 
r(0) = 至 [lab (1.8) 
同样 ,c(0) 等 于 w(n) 的 方差 
cf0) = a (1.9) 


式 (1.5) 到 式 (1.7) 并 不 足以 保证 离散 时 间 随 机 过 程 是 严格 平稳 的 。 而 具有 上 述 条 件 的 离散 时 
闻 随 机 过 程 称 为 广义 平稳 或 二 阶 平稳 的 。 严 格 平 稳 过 程 1utnii 或 其 简写 ua 是 广义 平稳 
的 , 当 且 仅 当 (Doob，1953) 

El] ulni jeo 对 所 有 nn 
在 物理 科学 和 工程 中 遇 到 的 随机 过 程 普遍 满足 这 个 条 件 。 


1.2 平均 各 态 历 经 定理 


随机 过 程 的 期 望 ,或 其 集 平均 ,是 “ 跨 过 程 (across the process)” 的 平均 。 显 然 ,可 以 定义 长 
期 样本 平均 ,或 长 过 程 的 时 间 平 均 。 实 际 上 ,通过 合计 模型 的 未 知 参 数 ,时 间 平 均 可 用 来 建立 
物理 过 程 的 随机 模 斑 。 然 而 ,对 于 这 样 一 种 严格 的 方法 ,必须 证 明 在 统计 意义 上 时 间 平 均 收 伍 
于 对 应 的 集 平 均 。 均 方 误差 准则 是 一 种 流行 的 收 伍 判别 准 列 。 

有 鉴于 此 ,考虑 广义 平稳 的 离散 时 间 随 机 过 程 wx(n)。 设 常数 上 表示 过 程 的 均值 ,ef 名表 
RE AMAH BRA 为 自 变 量 )。 为 估计 均值 y ,可 以 使 用 时 间 平 均 


âN =< yun) (1.10) 


其 中 N 为 估计 中 使 用 的 样本 总 数 。 注 意 ,&A(N) 为 一 个 具有 均值 和 方差 的 随机 变量 。 特 别 地 ， 
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从 式 (1.10) 容 易 发 现 ,&(N) 的 均值 (期 望 ) 为 
EL[A(N)]=p SATAN (1.11) 
式 (1.11) 表 明 ,时 间 平 均 (NN) 是 过 程 集 平均 (均值 ) 的 盛情 Cunbiased) 居 计 唤 。 
再 则 , 当 样 本 趋向 于 无 穷 大 时 , 集 平 罗 e 与 时 间 平 均 j&() 之 差 的 均 方 值 趋向 于 零 。 这 
时 ,就 说 过 程 uw(n) 在 均 方 误差 意义 上 是 平均 各 态 历经 的 (mean ergodic)。 即 
Jim Eļļa - 2(N)?] = 0 


利用 时 间 平 均 公式 (1.10) ,我 们 有 
| 





Eje — A(N)!] = sl - 3 Buo) 








a= k=0 (1,12) 
设 1= nn 一, 则 可 将 式 (1.12) 中 的 双 黑 加 符号 简化 为 


. N-i i 
E[|e — A(N)|"] = Dae - Men 
故 可 得 出 ,过程 u(n) 在 均 方 误差 意义 上 为 平均 各 态 历经 的 充分 必要 条 御 为 
N-i 
lim 4 > (1 一 Hen =0 (1.13) 


Nooo Nj N+ N 
换血 话说 ,如 果 从 式 (1.13) 的 意义 上 说 过 程 u(n SEE AR BARRE F AN) 
收敛 于 集 平均 (利用 均 方 误差 准则 )。 这 就 是 特殊 形式 的 平均 各 态 历 经 定理 (Gray & Davis- 
son, 1986) 的 表述 。 
平均 各 态 历经 定理 的 使 用 可 以 推广 到 过 程 的 其 他 时 间 平 均 。 例 如 ,考虑 如 下 用 来 估计 广 
义 平 稳 随 机 过 程 自 相关 函数 的 时 间 平 均 


N-I 
Ak, N) =+ Dulnan =k) OSkSN-1 (1.14) 
n=) 


若 真 实 值 r(%) 和 合计 值 ek NIZE NBT RAAB OS, WWE u(r) 
为 相关 遍历 的 。 设 zfn 上) 表示 与 原 过 程 un) 相关 的 新 离散 时 间 随 机 过 程 , 即 

2(n,k) = u(nju(n — k) (1,15) 
于 是 ,通过 用 (n, RE wu(n) ,我 们 可 使 用 平均 各 态 历经 定理 来 建立 使 z( n ,让 ) 为 平均 各 态 


历经 或 相当 于 a(n) A Kia ARE 
从 参数 估计 的 观点 看 ,均值 的 求解 (如 直流 分 量 ) 是 在 对 感 兴趣 的 分 量 估计 之 前 ,对 时 间 序 
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BEAT AK) Soe HE) EE BRE. ARA RAR Td ee, HP A ER 
自 相关 隧 数 的 计算 对 过 程 的 局 部 特性 来 讲 已 经 完全 足够 。 
此 后 ,我 们 假设 随机 过 程 xu(n) 为 零 均 值 , 即 
Elu(n)]=0 对 所 有 
有 限 个 延迟 的 xfm) 的 自 相 关 函 数 集 定义 了 过 程 的 相关 矩阵 。 


1.3 相关 和 矩阵 


设 时 xl 观测 向 量 u(n) 表 示 以 零 均值 时 间 序 列 ula), uln-1) vuln- M+ I AR 
组 成 的 向 量 。 为 清楚 表示 of ma) 的 组 成 ,我 们 写 出 

u(r) = [uln), {n —1),..., ua- M+ n (1.16) 

其 中 ,上 标 7 表示 转 置 。 RANA AL ea AE BL E BA E, E 

为 观测 向 量 af mn) 与 其 自身 外 积 的 期 望 。 用 及 表示 用 这 个 方法 定义 的 M x MRR. BOR 

R = Elu(n) u(n] (1.17) 

其 中 上 标 HAm RARAS ATR. HSK. 16) fRAKC.17) HEA 

义 平稳 条 忻 ,得 到 相关 矩阵 的 扩展 形式 


r(0) r(1) + (M - 1) 
R-| DD 0 Te?) (1.18) 
r(-M +1) r(-M +2) © r(0) 


在 主 对 角 线 上 的 元 家 r(0) 总 为 实 值 。 对 于 复 值 数据 ,R 的 其 余 元 素 为 复数 值 。 


1.3.1 相关 矩阵 的 性 质 


相关 矩阵 及 在 统计 分 析 和 离散 时 间 滤 波 器 设计 中 起 着 重要 作用 。 因 此 理解 其 性 质 及 这 
些 性 质 的 含义 是 很 重要 的 。 特 别 地 ,利用 式 {1.17) 中 给 出 的 定义 ,我 们 发 现 平 稳 离 散 时 间 随 机 
过 程 的 相关 和 矩阵 具有 如 下 性 质 。 

性 质 1 平稳 离散 时 间 随 机 过 程 的 相关 矩阵 是 埃 尔 米 特 宛 阵 。 

当 一 个 复 值 矩阵 等 于 它 的 共 罗 转 置 时 ,我 们 就 说 该 矩阵 是 埃 尔 米 特 矩 阵 。 因 此 可 以 将 相 
KEH R 的 埃 尔 米 特 矩阵 性 质 写 为 


R'=R (1.19) 
这 个 性 质 可 从 式 (1.17) 的 定义 中 直接 得 出 。 该 性 质 亦 可 表示 为 
rf—k) = r*{k) (1.20) 


其 中 ,r(E) 是 延迟 为 上 的 随机 过 程 w(n) 的 自 相 关 函 数 。 因此 ,对 于 一 个 广 尽 平稳 过 程 ,只 需 
BA HEAR r(k) (=0,1,…, 于 -1) 的 好 个 值 就 可 以 完全 定义 相关 矩阵 R。 可 以 将 式 
《1.18) 重 写 为 
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r(0) r(1) o (M = 1) 
mo) "(0) M2) (1.21) 
M- 1) (M — 2) n (0) 

此 后 ,我 们 将 使 用 这 种 方法 来 表示 广义 平稳 离散 随机 过 程 的 相关 征 阵 的 展开 形式 。 应 注意 到 ， 

对 于 实数 据 的 特 珠 情况 , 自 相 关 函 数 r TATA kB HEKER 及 是 对 称 的 。 


性 质 2 平稳 离散 时 间 随 机 过 程 的 相关 第 阵 是 托 伯 利 兹 (Toeplitz) 和 矩阵 。 


车 一 个 方 阵 的 主 对 角 线 上 的 所 有 元 素 相等 ,而 且 任 一 条 平行 于 主 对 角 线 的 对 角 线 土 的 元 
素 也 相等 ,我 们 就 党 该 方 阵 为 托 伯 利兹 和 矩阵。 从 式 (1.21) 中 给 出 的 相关 和 纯 阵 R 的 展开 形式 可 
以 看 出 ,所 有 主 对 角 线 上 的 元 素 等 于 r(0) ,所 有 在 主 对 角 线 上 一 行 的 对 角 线 上 的 元 素 等 于 
r(1) ,所 有 在 主 对 角 线 下 一 行 的 对 角 线 工 的 元 素 都 等 于 r" (1 。 共 他 对 角 线 也 是 如 此 。 因 此 ， 
我 们 得 出 结论 :相关 矩阵 R 是 托 伯 利 兹 矩阵。 

应 该 看 到 ,相关 和 矩阵 R 的 托 伯 利 兹 性 质 是 假设 观测 向 量 u(r) 所 表示 的 离散 时 间 随 机 过 
程 是 广义 平稳 的 一 个 直接 结果 。 实 际 上 ,可 以 这 样 表述 :如 果 离 散 时 间 随 机 过 程 是 广义 平稳 
A JE A BE RARE RZ RAR R 为 托 伯 利兹 矩阵 , 则 该 
离散 时 间 随 机 过 程 一 定 是 广义 平稳 的 。 


性 质 3 ”离散 时 间 随 机 过 程 的 相关 矩阵 总 是 非 负 定 , 并 且 几 乎 总 是 正定 。 


设 a 为 任意 ( 非 零 ) 4 x 1 的 复 值 向 量 。 定 义 标 景 随机 变量 y 为 a 和 观测 向 量 utn) 的 内 
积 , 即 





y = un) 


两 边 肥 埃 尔 米 特 转 置 并 将 y 看 做 标量 因子 ,得 到 
H 
( 


y* = u” (na 


Hte eA Bet. NEE y 的 均 方 值 为 
Elly?) = Elyy*) s 
= E|a”u{n)u(n)a] 
= a" E[u(n)u*(a)]a 


= a" Ra 
其 中 ,R 为 式 (1.17) 中 定义 的 相关 短 阵 。a" Ra RART ER AY 
EllyP] > 0 
BA 
a’Ra = 0 (1.22) 


对 于 每 一 个 非 零 的 3, 满足 这 个 条 件 的 埃 尔 米 特 形式 就 说 是 非 灸 定 或 半 正 定 的 。 
如 果 埃 尔 米 特 形 式 对 所 有 非 零 a 满足 如 下 条 件 
arRa > 0 
WPA EME R 是 正定 的 。 除 非 组 成 MAARE ola BL FF EE 
HAM MOP ARLE A LE EAR Ee uo (ned KM 
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时 儿 个 正 强 波 KK 之 和 组 成 的 {更 多 细节 参见 第 1.4 广 )。 在 实际 中 我 们 发 现 ,这 种 理想 状况 极 
Ap eA, AB AE MEL FAA Ue ae AY. 
性 质 4 PN RR FE AEDES A Fe IF ay R 
ARIRE RTI det(R)) ALTE SM, WR AEE Ay SP A, SE hh, LB 
E ut 5) 的 每 个 元 索 部 包含 一 个 加 性 噪声 分 量 。 因 此 ,我 们 发 现 ,对 所 有 10 的 ! 
Iré] < r0) 
其 中 de BR) #0 A ABER AEA 
性 质 4 8—TREWT RES ER RSE ASHER RA A R E HREAN 
a _ adj(R) 
= get(R) (1.23) 


EP adj( RE R PERE ( adjoint) EFF, AGE adj CR) EEL det(R) PIER 的 代数 余子 式 为 元 
素 的 矩阵 的 转 置 。 式 (1 233) 表明 , 当 det(R)IEO 即 及 非 奇 姬 ) 时 ,其 道 审 阵 咎 在 从 而 可 以 计算 。 


性 质 5 当 组 成 平稳 记 藤 时 间 随 机 过 程 的 观测 向 量 的 元 率 反 向 重 排 时 ,其 效果 相当 于 求 











该 过 程 相 关 短 阵 的 转 置 。 
设 s(n) 表 示 观 测 向 量 wt n) 的 元 素 反 问 重 排列 得 到 的 Mx 1 向量 ,从 而 有 
win} [utn M+ l),a(n - M + 2),..., nln)] (1.24) 
其 中 上 标 下 表示 某 一 向 量 的 反 序 重 排 。 向 量 u(n eRe 
r(0) rtf 了 + p*(M — 1) 
Efun = Oa) (1.25) 
r(M 一 全 (M - 2) 了 r(0) 
H BAKERO. 2D RPA A I 1.21). 
Efu nt a] = R7 
这 就 是 我 们 所 期 望 的 结束 。 
性 质 6 平稳 离散 时 间 随 机 过 程 的 相关 和 矩阵 RAR, (RT REY MAM +1 T 
观测 值 ) 之 间 的 关系 为 
或 等 价 地 
Rae = EA (1.27) 
r” į r(0) 
其 中 r(0) 为 零 延 迟 时 过 程 的 自 相 关 , 且 
r7 = [r(1}.r(2),....7(M)] (1.28) 
和 


rar = [r(-M),r(-M + 1),....,*(—1)] (1.29) 
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注意 在 性 质 5 中 ,我 们 已 经 为 相关 和 矩阵 的 符号 加 了 好 或 好 +1 的 下 标 ,以 显示 对 用 于 定义 
怎 阵 的 观测 数 的 依赖 关系 。 只 有 妆 所 考虑 的 问题 涉及 观测 数 或 矩阵 维 数 的 依赖 性 时 才 遵 从 这 


一 准则 (在 相关 矩阵 和 其 他 向 量 范围 内 )。 
为 了 得 到 式 (1.26) ,将 相关 矩阵 Rs, 用 其 展开 形式 来 表示 ,并 分 块 为 
AD DD) Ca 
Pry P70} r(1) rm 
Ruri = | r2) | (1) r(0) = (M ~ 2) (1.30) 
(M) (M1) M- 2) = (O) 


在 式 (1.30) 中 利用 式 (1.18) , 式 {1.20) 和 式 (1.28), 可 以 得 到 式 (1.26)。 注 意 , 对 应 于 这 种 联 
系 ,观测 向 量 uy,,Cn) 可 分 块 为 


uyin) = u(n ~ 2) 


= Ee a ] (1.31) 
Uvw(n 一 1) 


式 中 ,下 标 M +1 用 来 注 明 wy,1tn) 有 M41 TRE, Uyin ERM. 
为 证 明 式 (1.27) 的 关系 ,将 相关 和 矩阵 Ru 用 其 展开 形式 表示 为 另 一 种 分 块 形式 


r(0} r(1) = r(M - 1) ir(M) 
r*(1} r(0) TM -— 2) ir(M — 1) 
Raa =]; (1.32) 
(M 一 (3 
r*(M) re(M—1) oe r*(1) ir(O) 


然后 再 一 次 在 式 {1.32} 中 利用 式 (1.18)、 式 (1.20) 和 式 (1.29), 可 得 到 式 (1.27) 给 出 的 结果 。 
注意 ,对 应 于 第 二 种 关系 ,观测 向 量 ww,1in) 可 用 另 一 种 分 块 方法 表示 为 


u(r) 
u(n — 1) 


_ | (1.33) 
ulin — M) 


1.4 EZR MEARE 
pu SU) EERTE ETAL h RE RS SB TE BS, BC PAIR HE 
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了 若干 重要 的 信号 处 理应 用 。 例 如 ,在 时 间 域 中 ,这 类 序列 表示 一 个 接收 器 输 人 端的 合成 信 
号 ,其 中 复 正 疲 售 号 表示 日 标 信 号 ,而 噪声 表示 在 接收 器 前 端 产 生 的 热 噪声 。 存 空间 域 , 它 代 
表 某 一 传感器 线性 阵列 所 接收 的 信号 ,其 中 复 正 弦 信 号 表示 由 远 端 信 源 (发 射 器 } 产 生 的 平面 
让 ,而 噪声 表示 传感器 噪声 。 

Ke 表示 复 正 营 信和 号 的 幅度 ,om 表示 其 和 角 频 率 。 辐 时 设 y(n) 表 示 零 均值 噪声 的 样本 。 邦 
么 ,可 将 复 正 芒 信 号 加 噪声 组 成 的 时 间 序 列 样本 表示 为 





ufin) = wexp(fart} + v(n)} n=O... N-I] (1.34) 
HERI Se A a a TRR SA on ROE, R134) PH 
u{n) 的 均值 为 aexp( jon) 


为 了 计算 过 程 utn) 的 自 相关 函数 ,显然 需要 知道 噪声 un WAR. Fut, Rie 
自 相 关 函 数 表 征 一 种 特殊 形式 的 噪声 , 即 
i _ joo k=0 
Elp(n)e*(n — k)] = 人 aes (1.35) 
RR PPR a A RE ,我 们 将 在 第 1.14 HAA. Bee SERS AR 
的 源 是 相互 独立 的 ( 即 不 相关 的 ) WT Ee) BD AAR SE FE A ae Sp 
量 的 自 相 关 沙 数 之 和 。 因 此 ,利用 式 (1.34) 和 式 (1.35) 可 以 发 现 , 延 壕 为 上 的 过 程 w(n) 的 自 
FI RA 
r(k) = Elu(nju*(n — k)] 
z (eee k=0 (1.36) 
~ [le exp(iak) k #0 
其 中 |a ARH o 的 模 。 应 注意 到 ,如 果 延 迟 k 4 0,04 un RAE n ER i 
度 变 化 外 ,同一 正弦 信号 的 自 相 关 函 数 (下 ) 也 随 着 大 的 变化 而 变化 。 给 定 样 本 序列 a(n), 
ufn-1), e ulan- M41), RATE n(n) MRR 





! + exp (jw) + exp(ja{M — 1)) 
R= jap) “PO i explo ~2)) | Oy 37) 
1 
exp(-jo(M — 1)) exp(-jo(M —2)) 0 1 +5 
其 中 
2 
p= et (1.38) 


Aft. 20.37) PHAR 具有 第 1.3 节 中 描述 的 所 有 性 质 ,该 者 可 以 证 明之 。 
式 (1.36) 提 供 了 含 如 性 噪声 的 复 正 芯 信号 中 估计 参数 时 两 步 操作 的 数学 基础 ， 
1) 测量 过 程 w(n) 的 均 方 值 "(0)。 从 而 可 根据 给 定 的 噪声 方差 5 ,确定 幅 值 1a1。 
2) 测量 延迟 0 时 过 程 a(n) 的 自 相关 西数 r(5)。 从 而 可 根据 步骤 1 给 定 的 la 1, 确定 
角 频 率 Ba 
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TERE ATT ERA GE a 相位 的 改变 而 改变 ,这 是 由 及 相关 函数 ERP RRA Ro 

fli 考虑 理想 状态 下 衣 频 率 为 w ORR EERE., ARTA BR e e i t F 
列 是 由 该 正 菠 波 获 得 的 三 种 均 习 间隔 样本 组 成 。 国 此 ,证 信 嗓 比 o= 四 ,采样 教 M=3, 
从 式 人 .37) 中 可 以 得 到 时 间 序 列 的 相关 郑 阵 为 


1 cxpljw)  exp(j200) 
R= lal) exp(-jo) 1 exp jer) 
exp(—/2iw} exp{—je) 1 
由 上 式 容易 看 出 ,RR 的 行列 式 和 各 个 主子 式 都 为 0, 坡 这 个 相关 矩阵 为 退化 的 。 
我 们 可 以 推广 刚刚 得 到 的 结果 ,表述 为 在 过 程 ul Aer KP LARA PRAM 
AHACK <M), AAAS MOLT ei KAMRAN, 


1.5 随机 模型 


模型 这 个 术语 用 于 任何 假设 ,这 些 假设 可 用 来 解释 或 描述 应 该 操纵 或 约束 感 兴趣 物理 数 
据 所 隐 舍 的 规律 。 用 模型 数据 表示 随机 过 程 可 追溯 到 Yule(1927} 的 想法 。 这 个 想法 是 :由 高 
度 相 关 的 观测 值 组 成 的 时 间 序 列 un), 可 通过 一 系列 统计 独立 的 脉 神 激励 一 个 线性 滤波 咒 
来 产生 ,如 图 1.1 所 示 。 该 冲击 是 从 某 一 固定 分 布 (通常 假设 具有 零 均值 和 常数 方差 的 高 斯 分 
布 ) 中 获取 的 随机 变量 。 这 样 ,一 系列 随机 变量 就 组 成 了 一 个 纯 随 机 过 程 ,通常 称 为 高 斯 日 品 
声 。 特 别 地 ,可 用 统计 术语 描述 图 中 的 输 人 vr) 为 


Elv(n)] = 0 对 所 有 (1.39) 
和 
Elvina] = 1 se (1.40) 


其 中 a WRATH. LUI) ASHER AOA HARP MBE. BE 
的 假设 的 含义 在 第 1.11 节 中 讨论 。 


从 纯 隘 机 过 
程 提取 的 离 藤 时 间 线 性 离散 时 间 随 机 
R rt 4 BER ee 
H 


图 1.1 随机 模型 


一 般 来 讲 , 图 1,1 中 随机 模型 的 输 人 输出 关系 的 时 域 描述 可 以 表述 如 下 : 
模型 输出 [模型 输入 当前 
过 去 值 的 | + | 值 和 过 去 值 的 
线性 组 合 线性 组 合 


+ (1.41) 


( gi 5 














以 上 描述 的 随机 过 程 称 为 线性 过 程 。 
图 1.1 中 所 示 随 机 模型 的 结构 由 式 (1.41) 中 两 个 线性 组 合 圳 示 的 方式 来 决定 。 于 是 ,我 


们 可 以 辨认 出 三 种 流行 类 型 的 线性 随机 模型 : 
1) 自 回 归 模 型 ,其 中 没有 使 用 模型 输 人 的 过 去 值 。 
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2) 滑动 平均 (MA) 模 型 ,其 中 没有 使 用 模型 输出 的 过 去 值 。 
3) 泥 合 的 自 回 归 - 滑 动 平均 (ARMA) 模 型 ,以 其 完整 形式 使 用 式 (1. 和 机 ) 的 描述 。 因 此 ,这 
类 随机 模型 包含 了 自 回 归 和 潮 动 平均 作为 特例 。 


1.5.1 自 回 归 模 型 
如 果 时 间 序 列 ulan), uln-1) eulin- MRE TIEA E 
un} + afu(n — 1) +o + ayun M) = p(n) (1.42) 


则 称 ulaj, ufn-1), eula- M)XBRT M BB EICAR, autoregressive d, EPEA a, 
mtt du BA ARER, y(n) AARE, afuln-hA a Suln- ARREA, AP 
k= Ll, Me 
为 解释 “ 自 回归 "这 个 术语 ,我们 将 式 !(1.42) 重 与 为 

u(n) = wratn 一 1) + wiutn — 2) + + when M) + rfin) (1.43) 
式 中 w= -as 由 此 可 见 ,过 程 的 当前 值 xn 等 于 过 程 的 过 去 值 a(n -1),…,wln - M) 
有 限 线性 组 合 , 再 加 上 一 个 误差 项 v(nj。 现 在 可 以 看 出 自 回归 的 会 义 : 反 映 相 关 变 量 y 与 一 
组 独立 变量 x, ，x;,…, xw 加 上 误差 项 x({a) 之 间 关 系 的 线性 模型 


M 
y= S wh xy, +p 
k=] 


称 为 自 回归 模型 (regression model}。 在 式 (] ,43) 中 ,变量 zf(n) 在 其 自身 的 过 去 值 上 回归 , 故 称 
为 自 回归 。 
式 (1.42) 的 堪 全 表示 输 人 序列 1uafn)l 与 参数 序列 | c; |} 的 郑 积 。 为 强调 这 点 ,将 它 以 卷 


积 和 的 形式 重 写 为 
at¥u(n 一 k) = y(n) (1.44) 


IMs 


k 
其 中 ao = 1。 对 式 (1.44) 两 边 取 z 变换 ,可 将 式 左边 的 卷 积 和 转化 为 序列 | w(n)| 与 参数 序列 
la, 1z 变换 的 乘积 。 设 


M 
Hal) = Darz” (1.45) 
n=( 
表示 序列 {a | 的 z 变 模 ,并 设 
U(z) = 2 u(n)z " (1.46) 
yee AFR un) Ai 2 变 模 ,其 中 z 为 复 变 量 ,可 以 将 式 (1.42) 的 差分 方程 转化 成 
H,(z)Utz) = Viz) (1.47) 
其 中 ` 
V(z)= Drine” (1.48) 


取决 于 是 否 可 将 AR 过 程 x(m) 看 成 感 兴趣 的 输 人 或 输出 , 式 (1.47) 的 z ERA PR : 


1) 给 定 AR 过 程 u(n) ,我 们 可 以 用 图 1.2(a) 所 示 的 滤波 器 来 产生 白 噪声 v(w) 作 为 输出 。 
滤波 器 参数 与 (nm ) 的 参数 之 间 有 一 一 对 应 关系 。 因 此 ,这 样 一 个 滤波 需 代 表 了 一 个 
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具有 离散 转移 函数 五 《z) = V(z)fU{z) 的 过 程 分 析 器 。AR 过 程 分 伯 器 [ 即 H CB 
z 反 变 撞 ] 的 脉冲 响应 是 有 了 腿 持续 的 。 
2) EHAR y(n) 作 为 输入 ,可 以 用 如 图 1.2(b) 所 示 的 滤波 器 来 产生 AR it Fu (ne 
出 。 相 应 地 ,这 个 小 该 器 表示 一 个 过 程 发 圭 器 ,其 转移 函数 等 于 
U(z)} 


H(z) = VD 





Halz) 
1 


= 
Darz” (1.49) 


n=O 


AR 过 程 发 生 器 [ 即 Hc(z) 的 z 反 变换 ] 的 脉冲 响应 是 有 限 持 续 的 。 


ul — 2} 





[b) AR 过 程 发 生 器 
图 1.2 自 回归 过 程 
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图 1.2(a) Bo AR 过 程 分 析 器 是 一 个 全 零点 证 波峰。 之 所 以 这 人 么 称呼 它 , 是 因为 其 转移 图 
数 总 (z) 完 全 由 它 的 零点 位 置 所 主义 。 这 个 滤波 占 从 本 质 上 就 是 稳定 的 。 

图 1.2(b) 的 AR 过 程 发 生 器 是 一 个 全 极点 证 波 器 。 之 所 以 这 么 称呼 它 ,是 因为 其 转移 函 
数 于 (下 完全 由 它 的 极点 位 置 所 定义 , 即 


Az} = 





1 
(1 = mz — pz) (h — paz) 
参数 po prs py Ae (BA, Ce ae 

i tatr! +a? +--+ ato“! =0 (1.51) 
要 使 图 1.2(b) 中 的 全 极点 AR 过 程 发 生 器 稳定 ,特征 方程 (1.51) 的 所 有 和 根 都 必须 位 于 = 平面 
的 单位 介 内 。 这 也 是 由 图 1.2(b) 产 生 的 AR 过 程 为 广义 平稳 的 充分 必要 条 件 。 在 第 1.7 节 中 
我 们 将 更 多 地 讨论 平稳 性 问题 。 


1.5.2 滑动 平均 模型 


在 滑动 平均 (MA ,moving-average) 模 型 中 ,图 1.1 中 的 离散 时 间 线 性 滤波 器 由 一 个 受 白 噪声 

驱动 的 全 零点 滤波 器 组 成 。 在 滤波 器 输出 端 所 产生 的 过 程 n(n) 由 如 下 差分 方程 

ulin} = v(n) + bfv(a — L) +--+ + bivin — K) (1.52) 
来 描述 。 其 中 5, ,，…, Bx 为 常数 , 称 为 MA 参数 ,v({n) 为 具有 零 均 值 和 方差 为 o HERE. R 
了 wm), 式 (1.32) 右 边 的 每 一 项 皆 为 内 积 的 标量 形式 。 这 个 MA 过 程 为 天 阶 。 清 动 平均 只 是 近 
似 的 称呼 ,但 其 用 法 已 在 文献 中 确立 。 它 的 使 用 是 这 样 的 ;如 果 给 定 白 品 声 y(n) 的 一 个 瞬 态 实 
现 , 则 可 以 通过 建立 样本 值 v(n),v(n 一 1),… ,y(n 一下) 的 加 权 平均 来 计算 u(n) 

从 式 {1.52) ,我 们 容易 获得 如 图 1.3 所 示 的 MA 模型 ( 即 过 程 生成 器 )。 具 体 来 说 ,我 们 从 
模型 输 人 端的 白 噪 声 vn} 开 始 ,在 输出 端 产生 一 个 天 阶 MA 过 程 a(n)。 如 以 相 扩 方式 进行 
[ 即 给 定 MA 过 程 ula) EARE uv(n)], 则 需要 一 个 全 极点 的 滤波 器 。 换 言 之 ,用 于 产生 
和 分 析 MA 过 程 的 滤波 器 正好 与 用 于 AR 过 程 的 滤波 器 相反 。 

Fags 
iil 
wn) 





(1.50) 








图 1.3 滑动 平均 模型 (过 程 发 生 啥 ) 


1.5.3 自 回归 滑动 平均 模型 


为 了 产生 一 个 混合 的 自 回 归 滑 动 平均 (ARMA, autoregressive-moving-average) 过 程 u(n), fÈ 
们 使 用 图 1.1 所 示 的 离散 时 间 线 性 滤波 器 ,该 滤波 器 具有 同时 含 极点 和 零点 的 转 称 函数 。 因 
此 ,给 定 白 品 声 y(n) 作 为 滤波 器 输入 ,在 输出 端 产生 的 ARMA 过 程 n(n) 基 于 如 下 差分 方程 
u(n) + afu(n — t) +e + aulin — M)= 
yin) + b¥e(n — 1) + + bee(n — K) (1.53) 
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式 中 ,a ay Alb, ,bx BR ARMA 参数 。 除 了 式 (1.53) 左 边 的 uln) 和 右边 的 y(n) 外 ， 
其 他 所 有 项 都 表示 内 积 的 标量 形式 ,该 ARMA 过 程 的 阶 数 为 (年 ,天 )。 

从 式 {1.53) 容 易 导 出 图 1.4 中 的 ARMA 模型 ( 即 过 程 产生 器 )。 将 它 与 图 1.2(b) 和 图 1.3 
比较 ,可 明显 看 出 AR 和 MA 模型 实际 上 是 ARMA 模型 的 特例 。 





图 1.4 (M, OP ARMA MSGR RES (RM > K 

图 1.4 中 ARMA HBERENR BERRA GSS ,极点 。 类 似 地 ,给 定 一 个 ARMA 过 
FE wa), 用 来 产生 白 噪 声 v(n) 的 ARMA 分 析 器 的 转移 函数 也 同时 包含 零点 和 极点 。 

从 计算 的 观点 来 看 ,AR 模型 较 MA 和 ARMA 模型 有 一 个 优点 :图 1.2(a) 模型 中 AR 系数 
的 计算 涉及 称 为 尤 尔 -沃克 方程 的 系统 线性 方程 。 其 细节 将 在 第 BPR. AA 
1.3 模 型 中 MA 系数 的 计算 比 图 1.4 模型 中 ARMA 系数 的 计算 要 复杂 得 和 多。 二 者 均 要 求解 非 
线性 方程 给。 实际 上 , 焉 是 由 于 这 个 原因 ,我 们 发 现 AR 模型 比 MA 和 ARMA 模型 更 流行 。AR 
模型 的 广泛 运用 也 已 为 时 间 序 列 分 析 基 本 理论 的 优点 所 证 明 , 这 将 在 以 后 讨论 。 


1.6 Wold 分 解 


Wold(1938) 证 明了 一 个 基本 理论 :任意 一 个 平稳 离散 时 间 随 机 过 程 ,都 可 被 分 解 成 两 个 互 
不 相关 的 一 般 线 性 过 程 和 可 预测 过 程 之 和 。 更 准确 地 说 , Wold 证 明了 以 下 结果 ， 
任 一 平稳 离散 时 间 随 机 过 程 x(n) 痢 可 以 表示 为 如 下 形式 
x(a) = uin) + s(n) (1.54) 
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其 中 
1) u(tn) 和 s(n) 鸭 两 个 互 不 相关 的 过 程 ， 
2) utn) 是 由 MA 模型 表示 的 一 般 线性 过 程 BD 
ul) = Š sirin — k} 
式 中 bo =1 „E. 
lb? < 00 
k=0 
v(n) 是 与 s(n ABA AR , Bf 
E[v(n)s*(k)]=0 ”对 所有 (n.k) 
3) sa) 为 可 预 铀 过 程 , 也 就 是 说 ,该 过 程 可 从 零 预测 方差 的 过 去 值 进 行 预测 。 


这 个 结果 称 为 Wold 分 解 理 论 。 该 理论 的 证 明 由 Priestley(1981) 给 出 。 


(1.55) 


根据 式 (1.55) ,一 般 线性 过 程 vin) h EIRA "nr) 通 过 一 个 全 零点 证 波 器 来 产生 ,如 


图 1.5(a) 所 示 。 该 滤波 器 的 转移 阔 数 的 零点 等 于 如 下 方程 


Biz) = Sr"=0 


n= 


的 根 。 一 个 令 人 感 兴趣 的 结果 是 一 个 最 小 相位 全 零点 滤波 器 , 即 多 项 式 B(z) 的 所 有 零点 郁 在 单位 
圆 内 。 在 这 种 情况 下 ,可 以 用 一 个 具有 相同 冲 激 响 应 = b, 的 等 效 全 极点 滤波 器 来 代替 全 零点 滤 
波 器 ,如 图 1.5(b) 所 示 。 这 意味 着 ,除了 可 预测 分 量 外 ,平稳 离散 时 间 随 机 过 程 同 样 可 以 表示 为 适 
当 阶 数 的 AR 过 程 , 其 阶 数 受 到 上 述 B{z) 的 约束 条 件 的 限制 。MA 和 AR 模型 的 基本 区 别 在 于 : 
在 MA 模型 中 8(z) 对 输入 v{n) 进 行 操作 ,而 在 AR 模型 中 ,中 (z) 对 输出 u(n) 进 行 操作 。 


haa 脉 神 响 应 为 = bn Pe 
rln) ipe SEE EE 过 程 

un) 
(a) ETERNAN E MB Be 


= 一 般 
vin) BE) SE a 过 程 
u(y 


(b) Fhe Ae ae Ae — 
图 1.5 RRA ATES RBA E 


1.7 回归 过 程 的 渐 近 平稳 


式 (1.4 和 2) 是 一 个 好 阶 常 系数 线性 差分 方程 ,其 中 v(#) 起 输入 和 驱动 沙 数 的 作用 ,而 un) 
为 输出 或 解 (solution)。 利 用 经 典 方 法 中 求解 这 个 方程 ,可 把 解 eta) 表 示 为 补 函 数 和 wu.(n) 和 


特 解 u, (n) 2A, BO 


u(n} = u,(n) + upin) 





O EILA : 变换 的 方法 来 求解 差分 方程 (1.42) ,不 过 对 这 里 的 讨论 而 言 ,用 经 典 方 法 更 有 意义 。 


(1.56) 
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于 是 ,求解 un ATR: 
D 补 函 数 wu.(n) 是 齐 次 方程 


u(m) + afu(n — 1) + afuta — 2) +- + apun — M)=0 
的 解 。 一 般 地 ,zfz) 的 形式 如 下 
u(n) = Bipi + Bp +. + Bu pis (1.57) 
式 中 B81 ,8B,,…, By 是 任意 常数 ,而 pis pos py 为 特征 方程 (1.51) 的 根 。 
2) 特 解 定义 为 
uptn) = Heol D)lvta))] (1.58) 
RP D 为 单位 延迟 算 子 ,而且 通 过 用 D 代替 式 (1.49) 离 散 变 换 函 数 中 的 * :获得 算 子 
HD) FRIR T D 具有 如 下 性 质 
D¥u(n)|) = ulin- k) k=0,1,2,... (1.59) 
常数 B,, B, By 通过 选择 初始 条 件 来 决定 。 通 常 ,将 时 个 初始 条 件 设置 为 
u(0) = 0 
u(~1) = 0 
u(-M +1) =0 150, 
这 等 效 于 设置 图 1.2(b) 中 模型 的 输出 以 及 随后 的 (MH -1A EBEE n = 日 时 刻 令 其 为 0。 将 
这 些 初始 条 件 代入 式 (1.56) 到 式 (1.58) ,得 到 订 个 联 立方 程 组 ,由 此 可 和解 出 常数 B, Barts By。 
将 式 (1.60) 中 的 初始 条 件 强加 于 解 z(n) ,其 结果 是 使 该 离散 时 间 随 机 过 程 非 平稳 化 。 经 
再 三 考虑 后 ,显然 必须 如 此 ,因为 已 经 对 时 间 点 4 =0 给 定 一 个 特殊 状态 ,而 理 即 使 对 于 二 阶 
矩 , 时 移 原点 不 变性 的 性 质 也 不 成 立 。 租 是 ,如 果 wu(n) 可 以 “遗忘 "其 初始 条 人 忻 , 则 所 产生 的 
过 程 是 渐进 平稳 的 , 即 随 着 =” 趋向 于 无 穷 大 , 它 趋向 于 平稳 过 程 (Ptiestiey,1981)。 这 个 要 求 可 
通过 如 下 步骤 满足 :选择 图 1.2(b) 中 AR 模型 参数 ,使 得 随 着 = 趋 于 无 穷 大 , 衬 函 数 & (n) H 
减 到 0。 由 式 (1.57) 可 兄 ,对 于 式 中 任意 常数 , 当 理 仅 当 
Imi<1 对 所 有 天 
上 述 要 求 能 够 满足 。 固 此 ,为 使 以 方程 解 un) 表 示 的 离散 时 间 随 机 过 程 渐 近 平稳 ,要 求 AR 
模型 中 滤波 器 的 全 部 极点 都 位 于 z 平面 上 的 单位 圆 内 。 这 个 条 件 直 观 上 是 满足 的 。 


1.7.1 渐 近 平稳 AR 过 程 物 自 相关 函数 
假设 渐 近 平稳 的 条 件 都 满足 ,可 以 导出 所 产生 的 AR 这 程 自 相关 函数 的 一 个 重要 递归 关 
系 。 从 式 (1.4) 两 边 同 溢 以 二 (na -由 开始 ,然后 对 其 两 边 求 统计 期 望 ,可 得 
E| Ss atun 一 kyu*(n 一 | = Elv(njut(n - | (1.61) 
k= 


其 次 ,简化 式 (1.61) 的 左边 , 即 交 换 期 望 与 求 和 ,而 且 认为 期 望 Elun- k)u’ (n- 2) FE 
迟 为 -上 的 AR 过 程 的 自 相关 函数 。 接 着 通过 观测 当 1 >0 时 期 望 El y(a)u’ (za 号 =0。 
简化 其 右边 ,这 是 因为 u(n- 门 只 涉及 图 1.2(b) 中 到 时 间 (n - 1) 1 >0) 为 止 滤波 器 输入 端的 
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白 噪声 样 值 ,而 与 白 噪声 样 值 (nn) 无 关 。 因 此 ,可 将 式 (1.61) 简 化 为 


M 
Sakri —k)=0 i>g (1.62) 
其 中 as =1。 由 此 可 见 ,AR 过 程 的 自 相 美 消 数 满足 差分 方程 
Fr 站 = wtr — 1) + wfr- 2) + + wee — MM) [> 0 (1.63) 
式 中 ,= —a,,k8=1,2.°°,M, WERO. SDRT AR 过 程 u(rn) 自 身 满 是 的 差分 方程 。 
我 们 将 式 代 .63) 的 通 解 表示 为 


M 
r(m) = 2 Cape (1.64) 


EP, C, Ce, Cy 为 常数 ,p po pa 为 特征 方程 (1.51) 的 根 。 注 意 , 当 图 1.2(b) 的 AR 
模型 满足 渐 近 平稳 条 件 时 ( 即 对 所 有 上 ,有 | ps1 < 1), 当 延迟 m BATEA AN, AHK 
r(m) 趋向 于 0。 

式 (1.64) 中 极点 pm 所 做 贡献 的 精确 形式 取决 于 该 极点 是 实数 还 是 复数 。 当 p 为 实数 
时 ,相应 的 贡献 随 延迟 m 的 减 小 而 儿 何 衰减 到 0, 这 种 贡献 称 为 指数 窒 减 。 另 一 方面 ,复数 极 
点 出 现在 共 皮 复 数 对 中 ,其 共 斩 复 数 极点 对 的 届 献 为 阻尼 正 弱 曲线 形式 。 由 此 可 以 发 现 , 潮 近 
平稳 AR 过 程 的 自 相 关 画 数 由 阻尼 指数 和 阻尼 正 汞 曲线 混合 构成 。 


1.8 万 尔 - 沃 克 方 程 


为 了 惟一 定义 图 1.2(b} 所 示 的 M OY AR 模型 ,需要 规定 两 组 模型 参数 : 

1, AR 系数 a e, Gys 

2. 作为 激励 的 白 噪声 vn) HATS se 

下 面 ,我 们 依次 阐述 这 两 个 问题 。 

首先 ,对 ?=1,2,…, 衣 ,号 出 式 (1.6) ,得 到 一 组 以 AR 过 程 自 相关 函数 (0), rO) CMA 
已 知 数 ,AR 参数 a, ampo, ay 为 未 知 数 的 M 联 立方 程 组 。 该 方程 组 可 用 矩阵 展开 形式 表示 为 


r{0) r(1} - r{M — 1) wW r*(1} 
oo r(@) 7 ne ~ 2) oon | ae (1.65) 
(M 一 让 r®{M- 2) - (0) Way r*(M) 
其 中 w, -ao FHC .65) PRAIA Fe (Vule- Walker) A (Yule, 1927; Walker, 1931). 
可 用 和 矩阵 形式 将 尤 尔 -沃克 方程 表示 为 
Rw =r 《1 .66) 
假设 相关 虐 阵 是 非 奇异 的 ( 即 逆 和 寂 阵 存 在 ) ,可 得 式 (1.66) 的 解 为 
w=R'r (1.67) 


其 中 


w= [aa， tp 


相关 矩阵 RR 由 式 (1.21) 定 义 ,向 量 r 出 式 (1.28) 定 义 。 从 这 两 个 方程 可 以 看 出 ,给 定 自 相关 序 
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A r(0), rl), CM) ,9 以 惟一 地 确定 矩阵 RR 和 间 量 r。 因 此 ,利用 式 (1.67), 可 以 计算 系 
rye ww, 从 而 AR 系数 a, = —«,,k =1,2,--.Mo MAUL, AR RMR oa. ao, ty 和 
AR WE uw( nn) 的 归 一 化 相关 系数 pi 020° Ow 之 间 存 在 惟一 的 关系 , 即 
{a aaa] == {pi1, p2,...， Pu} (1.68) 
其 中 第 个 相关 系数 定 关 为 
k 
p= Toy k = 1,2,...,M (1,69) 


1.8.1 ARPA 
对 于 1 =0, 利 用 式 (1.42) 可 以 发 现 , 式 (1.61) 右 边 的 方差 上 只 有 如 下 特殊 形式 
E[y(nju*(n)| = Elp(n)e*(n)] 
2 


= Dp 


RY o 为 零 均 值 白 噪 声 *(a) 的 方差 。 相 应 地 , 令 式 (1.6 和 中 了 = 0, RA, FE 


(1.70) 


M 
o= S agr(k) (1.71) 


k=O 


FCPS AR AS , ay =l, 因而 ,给 定 目 相关 {0) ,ri ri), 可 确定 白 品 声 的 方差 a, 


1.9 计算 机 实验 ;二 阶 自 回归 过 程 


为 了 说 明 AR 过 程 建 模 理 论 的 发 展 ,我 们 考虑 一 个 二 阶 实 值 AR 过 程 的 例子 9。 图 1.6 给 
出 了 用 于 产生 该 过 程 的 模型 的 方 杠 图。 这 个 过 程 可 用 如 下 二 阶 差 分 方程 时 域 描述 为 
u(n) + aufn — 1) + mujin — 2) = rin) (1.72) 
式 中 v(m) 是 均值 为 零 ,方差 为 o 的 白 噪 声 过 程 。 图 1.7(a) 说 明了 该 白 噪 声 的 一 种 实现 。 我 
们 可 选择 方差 c;* ,使 得 u(n) 的 方差 等 子 1。 


二 阶 AR 
HEM Ran) 





图 1.6 二 阶 实 借 自 相关 过 程 模型 


全” 在 这 个 例子 中 ,我 们 沿用 Bo 和 jenkins(1976) 措 述 的 方法 - 
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AR it @ u(r) 


(b) 





AR F a(n} 


iy) 


AR HIR u(n) 





RF) n 


图 1.7 (a) SRA RRE (b) Co) DAAE FRO). 
(1.80) 3801.81) By AR 模型 的 输出 


1.9.1 渐 近 平稳 的 条 件 


二 阶 AR 过 程 xfa) 具 有 如 下 特征 方程 
1+aj,z'+a,z°%=90 (1.73) 
令 p 和 pz 表示 该 方程 的 两 个 根 , 即 
Pio Dz = > (a; + Vai = 4a) (1.74) 


为 了 使 un AER BOR ROAR T z 平面 单位 圆 内 。 即 p, 和 p 都 必须 小 于 1。 这 个 条 
件 又 反 过 来 要 求 AR 参数 al 和 a, 位 于 由 下 式 
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-l<a+a, 
一 ] = a ~ a) (1.75) 
一 | <a, 1 


定义 的 三 角形 区 域内 ,如 图 1.8 所 示 。 





图 1.8 AR 参数 a, 和 a, 的 允许 范围 


1.9.2 自 相 关 函 数 


延迟 为 m 的 渐 近 平稳 AR CEH BBR r{m) 满 足 差 分 方程 (1.63)。 利 用 这 个 方程 ， 
可 得 到 如 下 二 阶 AR 过 程 自 相关 函数 的 二 阶 差分 方程 
rim) + artm -1)+wrtm—2)=0 m>0 (1.76) 


根据 初始 条 件 ,我 们 有 (后 面 将 解释 ) 
和 


"(0) = as 


于 是 ,对 r(mm) 求 解 方程 (1.76) ,得 到 
全 -可 am- BRD) 
“Líp — pM PsP + 1) (p — Pipi + | 
其 中 ,m >0, pi 和 ps 由 式 {1.74) 定 义 。 
根据 p 和 p; 是 实数 还 是 复数 ,考虑 两 种 特殊 情况 ; 


情况 1: 实 根 的 情况 。 当 





at — 4a, > 0) 
时 ,将 发 生 这 种 情况 , 它 对 应 于 图 1.8 中 抛物 线 下 面 的 区 域 1 和 区 域 2 。 在 区 域 1, 自 相关 函数 
随 着 误 减 保持 为 正 ,这 对 应 于 正 根 占 支配 地 位 的 情况 。 这 种 情况 对 应 于 图 1.9(a) 中 AR 参数 
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取 如 下 值 
d 一 一 心 .1 
和 
a, = —08 (1.79) 


在 图 1.7(b) 中 ,可 以 看 出 图 1.6 中 模型 的 输出 随时 间 变 化 的 情况 ,a, 和 a, 被 赋予 式 (1.79) 给 
出 的 值 。 这 个 输出 由 图 1.7(a) 中 的 输入 白 噪声 产 生 。 


Dia 


和 


1? 
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图 1.9 SHB AR(2 ARAL A KR 


在 图 1.8 的 区 域 2 4, BASE pa Re BAe ae DE SE Re A ee tA 
4 AR 参数 为 


a, = —0.8 (1.80) 
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rrfD) 


Pn= 








-1.0 i 
0 §0 100 
HEIR yn 
(c) HR 
图 1.9( 续 ) 实 信 ARLE A ER 


时 ,这 种 情况 在 图 1.9(b) 中 未 出 。 在 图 1.7(e) 中 ,我 们 示 出 图 1.6 模型 输出 随时 间 变 化 的 情 
况 ,e Ala, 的 值 由 式 (1.80) 给 出 。 这 个 输出 也 由 图 1,7(a) 中 给 出 的 输入 白 噪声 来 产生 。 
情况 2: HSM. 
ai — da, <0 


时 ,将 发 生 这 种 情况 ,对 应 于 图 1.8 中 抛物 线 上 而 的 阴影 部 分 。 这 里 , 自 相 关 隔 数 呈 现 出 伪 周 
期 特性 。 当 AR 参数 为 

a, = —0.975 
和 

m = 0,95 (1.81) 


时 ,如 图 1.9C0) 上 所 示 。 在 图 1.7(d) 中 ,我 们 示 出 图 1.6 中 模型 的 输出 随时 间 变 化 的 情况 ,其 中 
a, Ale, 的 值 由 式 {1.81) 给 出 。 这 个 输出 同样 由 图 1.7(a) 中 给 出 的 输 人 白 品 声 来 产生 。 


1.9.3 尤 尔 -沃克 方程 
在 式 (1.65) 中 取 AR 模型 的 阶 数 人 = 2 .得 到 二 阶 AR 过 程 的 尤 尔 -沃克 方程 
ro (1) a] _ w] 
Fa | be (182) 
这 里 ,我们 使 用 了 实 值 进程 r( - 1) = CSREES A w 和 m 解 式 (1.82), 得 到 


ADEO - r2) 
me sk Gy et) 





r(O)r(2) — °C) 
(0) — r°(1) 








Wy = a = (1.83) 


46 His ERS AE 


也 可 以 用 式 (1.82) 依 据 AR 参数 a, 和 az 来 表示 (1) Al r(2), Bl 


ofna 
r(2) = ( +o 二 ja (1,84) 
其 中 o® = r(0) ,这 个 解 很 好 地 解释 了 式 (1.77) 中 引用 (00 r{1) 初 始 值 的 原因 。 


二 阶 过 程 渐 近 平稳 的 条 件 可 按照 式 (1.75) 中 的 AR 参数 oc, 和 a, 给 出 。 在 式 (1.84) 中 用 
a, 和 ax 表示 r(1) 和 r(2) ,我 们 可 以 重新 表示 渐 近 平稳 的 条 件 为 








-l<p,<1 
-l<p,< 1 (1.85) 
和 
pt < 5 (1 + pa) 
其 中 
_ 7) 
Pi r(0) 
All 
=) (1.86) 
P2 rO) 


为 归 一 化 相关 系数 。 图 1.10 给 出 了 p 和 ps 的 允许 区 域 。 


/ 


1.10 依据 归 一 化 自 相关 系数 的 二 阶 AR 过 程 参数 的 允许 区 域 m 和 po 
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1.9.4 BRENA 
令 式 (1.71) 中 中 =2, 可 将 白 噪声 v(n) 的 方差 表示 为 


a? = r{0) + ayr(1) + ar(2) (1.87) 
其 次 EARL 84) FE AK (1.87) , RIR Fa = r(Q) ,得 到 
o_flt@\ wm 
i (1.88) 


对 于 以 前 考虑 的 二 组 AR 参数 RMR vn WAAR 1.1 所 给 的 值 (假设 o = 1). 
表 1.1 AR 参数 和 噪声 方差 





ay az o; 
- 6.10 -0.8 0.277 
0.1 -0.8 0.27 
-0.975 0.95 0.0731 


1.10 选择 模型 的 阶 数 


用 线性 模型 表示 随机 过 程 的 方法 可 用 于 综合 或 分 析 。 在 综合 情况 下 , 对 模型 参数 赋予 一 
组 给 定 值 ,并 输 人 零 均 值 .给 定 方 差 的 白 噬 声 以 产生 期 望 的 时 间 序 列 。 另 一 方面 ,在 分 析 情 况 
下 ,通过 处 理 有 限 长 度 的 给 定时 间 序 列 来 和 估计 模型 参数 。 由 于 合计 是 统计 性 的 ,我 们 需要 模型 
和 观测 数据 之 间 扳 合 的 一 个 适当 度量 。 这 意味 着 除非 我 们 有 某 些 先 验 信息 ,否则 估计 程序 应 
当 包 括 定 阶 的 标准 ( 即 模型 中 的 自由 度 )。 在 式 {1.42) 定 义 的 AR 过 程 的 情况 下 ,模型 阶 数 等 
于 好 。 在 由 式 (1.52) 所 定 交 的 MA 过 程 的 情况 下 ,模型 防 数 为 有。 在 式 11. 呈 ) 和 定义 的 ARMA 
过 程 的 情况 下 ,模型 阶 数 为 (到 . 乓 )。 模 型 定 阶 的 各 种 选择 原则 已 在 文献 中 (Priestley, 1981; 
Kay,1988) 介 绍 。 在 这 一 节 ,我们 描述 商 个 重要 准则 ,一 个 由 Akaike(1973,1974) 提 出 , 另 一 个 由 
Rissanen( 1978) 和 Sohwartz(1978) 提 出 。 这 两 个 准则 都 用 信息 理论 得 出 结果 ,但 使 用 了 完全 不 同 
的 方法 。 
1.10.1 信息 理论 标准 

umulih i= 1;2,……, 上 下 ,表示 平稳 离 散 时 间 随 机 过 程 的 A 个 独立 观测 得 到 的 数据 ， 
glu) 表示 的 概率 密度 函数 。 设 A, Cu, 16, ) 表 示 w 的 条 件 概率 密度 函数 ,并 给 定 用 于 对 过 
程 建 模 的 参数 估计 向 量 和 8.。 设 m 为 模型 阶 数 ,出 可 以 写 出 

Bn = [Bins Bams +++ bm) (1.89) 

从 而 我 们 得 到 表示 感 兴趣 过 程 的 相互 竞争 的 若 于 模型 。 用 Akaike 提出 的 信息 理论 标准 选择 


模型 ,使 得 
AIC(m) = —2L(6,,) + 2m (1.90) 


最 小 化 。 函 数 LÂ) 定义 为 
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A N “ 
L(6,,) = max 2, In fil | On) (1.91) 


AP In 表示 自然 对 数 。 式 11.91) 所 示 准 则 是 通过 使 Kullback-Teibler 偏差 和 最 小 化 导出 的 ,该 
方法 可 用 来 为 未 知 真实 概率 密度 函数 gz 与 杠 据 观测 值 由 模型 给 出 的 条 件 概 率 密 度 函 数 
fotu16,) 之 差 提供 一 种 度量 (方法 )。 

函数 L(6, ) 构 成 式 (1.90) 右 边 除了 标 度 因子 外 的 第 -- 项 , 称 为 模型 参数 的 最 大 对 数 似 
然 和 估计 (最 大 似 然 估计 法 在 附录 D 中 简要 介绍 )。 第 二 项 2m pepe se t PERE Ti} model com- 
plexity penalty) , 它 使 AIC( m) Kullback-Leibler 俩 差 估计 。 

方程 中 的 第 一 项 容易 引起 模型 阶 数 m 迅速 下 降 。 男 一 方向 ,第 二 项 随 m 线性 增加 。 结 
RE AREH ATCC) Bm 变化 曲线 ，-- 般 来 说 ,该 图 将 给 出 明确 的 最 小 值 并 定 出 ACn) g 
得 最 小 值 时 由 m 确定 的 模型 最 佳 阶 数 。 这 冬 方 法 称 为 MAIC( 最 小 AIC)。 


1.10.2 最 小 描述 长 度 准 则 


Rissanen( 1978 ,1989) 采 用 一 种 完全 不 同 的 方法 来 解 央 统计 模型 定 阶 问题 。 具 体 来 说 , 它 
出 自如 下 基 杰 思想 :模型 可 以 看 做 一 个 用 来 撒 述 一 组 观测 数据 规律 性 特征 前 装置 ,其 目标 是 寻 
找 一 个 模型 ,使 得 该 模型 最 能 捕获 这 些 特 征 或 最 能 捕获 送 数 据 给 特定 结构 的 那些 约束 条 件 。 
而 且 我 们 斌 为, 约 东 的 存在 降低 了 以 最 短 或 最 低 完 余 方 式 编码 的 数据 的 不 确定 性 。 这 是 所 说 
的 “编码 ”, 指 的 是 观测 值 的 精确 描述 。 因 此 ,编码 观测 值 ( 当 考 虑 模型 所 提供 的 约束 的 优点 时 ) 
和 模型 本 身 所 需 的 二 进 制 数字 可 用 做 度量 相同 约束 量 的 准则 ,从 而 衡量 模型 的 好 坏 。 

于 是 , Rissanen 的 最 小 描述 长 度 (MDL, minimum description lengh ENO 可 表述 如 下 : 


AERAR AE ARE, 能 提 殿 对 数据 最 短 描述 长 度 者 即 最 性 神 型 。 
该 模型 可 用 数学 语言 定义 为 3 (Rissanen, 1978 , 1989; Wax, 1995) 
MDL(m) = -L(6,,) + 5 minN (1.92) 


其 中 m 为 模型 中 独立 可 调 参数 的 个 数 , 六 为 样本 大 小 ( 即 观测 值 的 个 数 }。 采 用 Akaike 的 信息 
理论 准则 时 ,L(6, ) 是 模型 参数 最 大 似 然 估 计 的 对 数 。 比 较 式 (1.90) 和 式 (1.92) 可 以 看 出 , AIC 
和 MDL ES) AAS AR DX BFE ZR AK o 

根据 Rissanen( 1989) , MDL 准则 具有 如 下 优点 ， 


e 模型 允许 对 观测 数据 最 短 编码 ,并 以 最 可 能 的 方式 获取 对 观测 数据 的 可 学 习性 。 


加 ”在 Akaiket1973 ,1974,1977) 与 Ulrych 和 0uef1983) 的 描述 中 , 式 人 (1.9 和) 的 推导 基于 下 式 的 最 小 期 望 原理 


Dy (On) = few u) ]ngf da 一 E u) ln fufu’ Ân) 


我 们 称 D, 1 -(G,,)29 Kullback-Leibler W, AKRA gta) 和 fy lu 16, EK A ERR BE vB ( Kallback & Leibler, 
1953), BBE ott LAER AR. MA 或 ARMA 有 限 阶 过 程 时 的 附 如 信息 降 到 最 低 ,因为 现实 世界 的 任意 
附加 信息 事实 上 都 是 错误 信息 。 由 于 gta) 是 固定 且 未 知 的 ,问题 就 变 为 求 组 成 六 1 6, ) 的 第 二 硕 的 最 大 值 。 

名 ”单独 递归 可 定义 对 银 的 景 小 摘 述 长 度 的 思想 最 早 由 Kolmogorov(1968) 提 出 。 

全 Schwartz(1989) 已 经 利 用 Bayesian 方法 推出 了 类 似 的 结果 。 特 别 地 ,他 考虑 广 在 特殊 类 先 验 知识 情况 下 Bayes 估计 器 的 
渐 近 特性 。 这 些 沈 验 知识 对 相应 于 竞争 模型 的 子 空间 强加 正 的 概率 ,并 通过 选择 获得 最 大 后 验 概率 的 模型 进行 判定 。 


PLE 随机 过 程 与 模型 49 


e MDL 准则 在 如 下 意 头 上 是 一 个 模型 阶 数 一 致 逢 计 器 : 当 样 本 数 增加 时 , 它 收 僵 于 真实 模 
TY BT RY 
e 除了 ARMA 模型 外 ,在 线性 回归 范畴 内 ,MDI 模型 是 最 优 的 
也 许 要 注意 的 最 重要 的 一 点 十 ;在 几乎 所 有 涉及 MDL 淮 划 的 应 用 中 ,未 见 广 献 中 有 关上 异常 结 
果 或 不 希望 特性 模型 的 氢 道 {第 16 章 中 报道 了 ~ 个 特例 )。 


1.11 复 值 高 斯 过 程 


高 斯 随机 过 程 (或 简称 为 高 斯 过 程 ) ,在 理论 和 应 用 分 析 中 会 频繁 通 到 。 在 本 节 , 列 出 了 复 
ÉO 高 斯 过 程 的 一 些 重要 性 质 的 总 结 ， 
B ulm EnA 六 个 样 森 的 复 值 高 斯 过 程 ,对 该 过 程 的 一 阶 和 二 阶 统计 ,假设 如 下 
D 均值 为 0, 即 
u = Eju] = 0 对 于 1,2....,N {1.93) 
2) BAMBARA 
rk) = Elu(nju*(n ~ k)] k =0,1,...,N—-1 (1.94) 
BARRA (hk), k=0, 100, N- 1E TRGE u(r) i BRA R 
通常 用 记号 从 0, 及) 表示 具有 零 均 值 癌 量 和 相关 矩阵 为 R 的 高 斯 过 程 。 
式 (1.93) 和 式 (1.94) 隐 含 过 程 的 广义 平稳 性 。 均 值 jx 和 不 同 延迟 下 AHRR rt) 的 信 
息 足 以 描述 复 值 高 斯 过 程 w(n) 的 完整 特性 。 特 别 地 ,该 过 程 N 个 样本 的 联合 概率 密度 画 数 
定义 为 (Kelly et al. ,1960) 


a l _1 Hal 
fy(U) = EN det(A) exp oe a) Be 


式 中 
u = [a(1), #62),,.. ,uN)] 
为 Nx 1 数据 向 量 ,A 是 过 程 的 Nx N 埃 尔 米 特 对 称 算 矩阵 (moment matrix) , 按 相关 矩阵 R = 
rD EX 
ai H 
A aa ] (1.96) 
=3R 
注意 联合 概率 密度 函数 fu) 是 2N 维 的 ,其 中 因子 2 表明 过 程 的 六 个 样本 的 每 一 个 都 有 实 
部 和 虚 部 。 也 应 注意 到 ,过 程 的 单个 样本 的 概率 密度 冰 数 由 下 式 给 出 
2 
folu) = -5 exp(- a) (1.97) 


BH | a AEE uo (Ao 为 其 方差 。 
Je PROGR BEET SS ORR A ee) RE 
由” 复 值 高 斯 过 程 的 详细 介绍 见 Miller( 1974) 的 书 。 复 值 高 斯 过 程 的 性 质 在 Kelly 等 (1950) , Reed (1962) 和 McGee( 1971} 
的 书 中 也 有 讨论 。 
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1) 过 程 wa) 是 严格 意 浆 上 的 平稳 随机 过 程 。 
2) 过 程 xfn) 是 循环 复数 ,由 于 过 程 的 任意 两 个 不 同样 本 wtn) 和 u(t) 满足 条 件 
Elu(nju(k)]=0 n#k 
这 就 是 过 程 un) 通常 称 为 循环 复 值 高 斯 过 程 的 原因 。 
3) Bu, = Wnj(n=1,2,… ,NN) 表 示 零 均值 复 值 高 斯 过 程 的 样本 , 则 有 (Reed,1962} 


Ca) 若 上 1, 则 
Eluxut ...u*u,u,... té] = 0) (1.98) 
HP s Wie, BAHAR], o, M REEER. 
(b) & k=l W 
Eļuž už MEU ty, --. a | 三 下 [下 La ad El uF ti, | (1,99) 


其 中 r 为 整数 集 旧 ,2 ,下 的 排列 ,x( 站 为 其 第 j 个 元 素 。 对 于 整数 集 11 ,2,… ,于 ,我 们 总 共 
All 个 可 能 的 排列 。 这 意味 着 式 (1.9} 的 右边 包含 中 个 期 望 值 乘积 项 相 蔽 。 式 (1.99) 称 
为 高 斯 算 分 解 定理 (Gaussian moment-factoring theorem)。 
例 2 考虑 和 N=3 的 奇数 情况 ,此 时 复 值 高 斯 过 程 u(nn) 由 三 个 样本 usu m 组 成 。 使 用 式 
(1.98) #8 paR 
Elurutu] = 0 (1.100) 
HS RN =4 ARS A Re u(n) 由 四 个 样本 usu Mas vu, Som, 1E 
PA.) hk h RES ASH, Sle FRSA 
Elutufusu,] = Flukus|F[ufu,) + Elutus]Elutual (1.101) 


《由 高 斯 姬 分 解 定理 推出 的 其 他 有 用 的 恒等式 可 参见 习题 13。) 


1.12 功率 谱 密 度 


在 第 1,1 节 中 定义 并 在 以 后 使 用 的 自 相 关 函 数 是 随机 过 程 二 阶 统计 的 时 域 描 述 。 该 统计 
参数 的 频 域 描 述 即 为 功率 谱 密 度 (power spectral density) ,也 称 为 功率 谱 (power spectmm) 或 简称 
谱 。 实 际 上 ,随机 过 程 的 功率 谱 牢 固 地 确立 了 其 作为 工程 和 物理 科学 常 遇 到 的 时 间 序 列 的 最 
有 用 描述 的 地 位 。 

为 了 着 手 定义 功率 谱 , 再 次 考虑 零 均 值 自 相关 函数 为 r( 站 (1 =0, 21, +2,...) 的 广义 平 
稳 离 散 时 间 敌 机 过 程 。 设 无 限 长 时 间 序 列 u(n)(na=0,.+1l,+2,...) 表 示 该 过 程 的 单一 实现 。 
一 开始 ,我 们 将 注意 力 集中 于 加 窗 时间 序 列 , 即 

fun) n=0,+l,...,4N 
win) = 化 n| > N 
SRE RIKE ON + 1 BALZ. APRE, MAREN uw(n) 的 离散 情 里 叶 变 换 为 


Mt 
Unlo) = DY uy(n)e (1.103) 
neh 


(1.102) 
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式 中 的 o WARE WEH -r nlo RK, Ulo) SEB PP Sea 
= $ whee (1.104) 


HHS RRB SoS. AOJO AF EMS A, RGR k RAB 
间 。 特 别 琵 ,将 式 (1.103) 乘 以 式 (1.104) 以 表示 Uy (rn) 的 平方 幅 值 








Uytw)| = È Sant juh kje wor) (1.105) 


每 个 实现 Ly ARER — PAAR, ERC. 105.) RA RA H EE J AR FRR 
顺序 , 即 得 到 期 望 的 结果 


E[|Up(w))] -> ŠE [unta juh (k) Jer) (1.106) 
TERTRE PER AIETE. UE RET FA hen XE ae A Ot A BL 
程 ,延迟 为 n- k Muy (nM BARRAR 

ry{n — k) = Eluy(njuh(k)| (1.107) 
按照 式 (1.102) 中 的 定义 ,也 可 以 将 其 写成 如 下 形式 


„(n — k) = {alumna = r{n — k) EON < (nk) EN (1.108) 


相应 地 , 式 (1.106) 取 为 
N N 
Elut] > E rin- k) (1.109) 
n=—N k=-N 
设 ! = 可 重 写 式 (1.109) 为 
~ EIU (w)f] = S (4 - Mr “ial (1.110) 
x slw] = Š N e ， 
式 (1.110) 可 以 着 成 两 个 时 间 函 数 [ 时 延 为 1 的 自 相关 函数 (7) 和 称 为 Barlett 窗 的 三 角形 窗 


函数 ] 的 习 积 的 离散 时 浊 体 里 叶 变 换 。Bartlett 窗 定义 为 


出 
一 一 MaN 
0 ul BN 


当 NN 欧 向 无 穷 大 时 ,对 所 有 Lw (1) 趋向 1。 相 应 地 ,可 以 写 由 如 下 结果 
im = EUo] = E re™ (1.112) 
= f=-00 


N 


式 中 DARRAI A] aise 确切 地 说 , 式 (1.112) 成 立 于 条 件 
M-1 
ja 


式 (1.112) 可 引导 我 们 定义 如 下 物理 量 
Slo) = jim 六 E[|Un(o)|"] (1,113) 
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FOP I Uy Ce) IN 称 为 如 窗 时 间 序 列 ww (n) 的 周期 图 (periodogram)。 注 意 ,统计 期 望 的 阶 数 
和 所 41.113) 中 的 极限 符 避 不 能 改变 。 同 时 还 此 注意 ,周期 图 收 敏 于 S(o), 它 只 是 均值 ,而 不 
是 均 方 值 或 其 他 意义 上 的 平均 值 ， 
当 式 人 1.113) 中 的 极限 存在 时 ,SCow) 具 有 如 下 解释 (Priestley，1981) 
SCa)d(w) =w Sw +de 之 间 广 闵 平 稳 随 机 过 答 各 分 量 荔 率 成 分 的 平均 (1.114) 
因此 ,Stw) 为 "期望 功率 的 谱 密 度 ” ,简称 为 过 程 的 功率 谱 密 度 。 于 是 ,利用 式 (1.113) 给 定 的 
功率 谱 密度 定义 ,可 以 将 式 {1.112) 重 写 为 


S(w) = > ren (1.115) 


总 之 , 式 (1.113) 给 出 了 广义 平稳 随机 过 程 的 功率 谱 密度 的 基本 定义 。 式 (1.115) 和 定义 了 该 过 
程 自 相关 函数 种 功率 谱 密 度 之 间 的 数学 关系 。 


1.13 功率 谱 密 度 的 性 质 


性 质 + 广 闵 平稳 随机 过 程 的 自 相关 消 数 与 功率 谱 密度 组 成 了 一 个 健 里 时 变换 对 。 


考虑 由 时 间 序 列 uw(n) 表 示 的 广义 平稳 随机 过 程 ,假设 该 过 程 为 无 限 长 度 。 设 r( 站 表示 
延迟 为 1 的 过 程 的 自 相关 函数 ,S(w) 为 过 程 的 功率 谱 密 度 。 根 据 性 斋 1, 这 两 个 物理 量 之 间 的 
关系 是 一 个 关系 对 


(e 


Siw) = 之 r(e -n cwsg (1.116) 


r(L) = 去 上/ S(ojemdw {= 0,41,42,... (1.117) 





式 (1.116) 指 出 功率 谱 密 度 是 自 相关 函数 的 离散 情 里 叶 变 换 。 另 一 方面 , 式 (1.117) 说 明 自 相 
关 函 数 是 功率 谱 密 度 的 离散 傅 里 叶 反 变换 。 这 对 基本 方程 构成 了 爱 因 斯 坦 - 维 纳 - 克 欣 契 因 关 
# (Einstein- Wiener-Khintchine relations) ,简称 EWK 关系 。 

用 革 种 方法 ,我 们 已 经 证 明了 这 个 性 质 。 上 其 体 来 说 , 式 (1.116) 仅 仅 是 上 一 节 确 立 的 式 
(1.115) 的 重 述 。 式 {1.117) 通 过 引用 离散 情 氏 反 变换 公式 直接 从 该 结果 导出 。 


性 质 2 功率 谱 密 度 Stw) 的 频率 支撑 是 Nyquist 间隔 一 x < wm 


征 这 个 间隔 之 外 ,Stw) 是 周期 性 的 ,有 即 
S(w + 2kn) = Stæ) FMR k (1.118) 


EAS 离散 时 间 随 机 过 程 的 功率 谱 密度 是 实数 。 
为 了 得 到 这 个 性 质 , 我 们 重 写 式 (1.116) 为 


Sle = r(0) + S rk em + 5 r(k)e i 
kal 外 二 一 po 


将 右边 第 三 项 中 的 上 换 成 -大 ,并 利用 ro- k) = r” Ce), 


第 1 章 随机 过 程 与 模型 53 


Maz 


S(w) = r0) + D [rk + r# (ke ] 
k 


Il 
= 


(1.119) 


% 


= r(0) +2 SRe[r(kje™] 
ETI 
式 中 Re 表示 取 实 部 运算 符 ， 式 (1.119) 表 明 功 率 谱 密度 S Cw) Je w 的 实 函 数 。 正 是 由 于 这 个 
EE ,我 们 经 党 使 用 S- ww) 而 不 是 S(ew”) 来 表 沙 功率 谱 密度 。 
性 质 4 实 值 广义 平稳 离散 时 间 随 机 过 程 的 幼 率 谱 密度 (函数 ) 是 俑 函数 {( 即 对 称 的 ); 如 
果 过 程 是 复 值 的 , 则 其 功率 谱 密度 就 不 是 偶 函 数 。 
对 于 实 值 随机 过 程 ,我们 发 现 S( - w) = S(w)。 这 意味 着 5(w) 是 o 的 偶 函 数 , 即 关于 原 
点 对 称 。 如 业 过 程 是 复 值 的 , 邯 r( 一 如 =r" (k) EREA SC -w) #5(w), 朋 S(w) 不 是 久 
FF PRE 


性 质 5 FRR URNS AEST 1/27 RUA -r< wsxr 沁 围 内 功率 谱 密度 曲 






































线 所 围 面积 。 
这 个 性 质 串 直接 从 =0 时 的 式 (1.117) 导 出 。 模 据 这 个 条 件 ,我 们 可 以 写 出 
r(O} = > [se da (1.120} 


由 于 r(0) 等 于 过 程 的 均 方 值 , 可 以 看 出 , 式 (1.120) 是 性 质 5 ER ER SY ie 
载 为 1 欧姆 电阻 时 过 程 的 期 望 功率 。 在 这 个 基础 上 上“ 期 望 功率 "和 "* 均 方 值 "在 下 面 的 叙述 中 
可 以 互 换 。 


性 质 6 “平稳 离散 时 间 随 机 过 程 的 功率 谱 密 度 非 全 。 
这 个 性 质 意 指 
S(o)2=0 WHAE w (1.121} 
它 可 直接 从 式 (1.113) 的 基本 公式 中 导出 ,为 便于 表示 重 写 如 下 
Stw) = Jim < Elly) 
首先 应 注意 到 ,1 Uy (co) P 表示 时 间 序列 (a) MARA R ELE 


它 对 所 有 o 都 非 负 。 期 望 EL Uy (oe)? ] 同 样 对 所 有 o 都 非 负 。 因 此 ,利用 由 Urlo) RRR 
SCw) 的 基本 定义 可 立即 得 出 式 (1.121) 所 述 性 质 。 


1.14 平稳 过 程 通过 线性 滤波 器 传输 


考虑 一 个 线性 时 不 变 和 稳定 的 离散 时 间 滤 波 器 。 设 滤波 器 由 离散 转移 函数 上 H(z) 表示 ， 
F(z) 定义 为 滤波 器 输出 的 z 变换 与 滤波 器 输入 的 z 变换 的 比值 。 假 设 把 功率 谱 密 度 为 S(w) 
的 平稳 离散 时 间 随 机 过 程 输入 滤波 器 ,如 图 1.11 所 示 。 又 设 5,(w) 表 示 滤 波 器 输出 的 功率 谱 

密度 , 则 可 以 写 出 
Sm) = |H(ew) Slo) (1.122) 
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式 中 He” AaB RE ae AN) FS , a eee TE * 平面 单位 圆 上 的 值 。 该 结果 的 
重要 特征 在 于 角 频 率 为 o 的 输出 谱 密 度 值 完全 由 滤波 器 的 振幅 特 LOT HAM 0 的 
输入 功率 谱 密 度 决 定 。 


其 有 功率 RAHE 
谱 5 fo) 离散 时 间 线 $ Sotw) 
的 平稳 过 程 性 滤波 器 的 平稳 过 程 


图 1.11 通过 离散 时 间 线 性 让 流 器 传输 平稳 过 程 
式 (1.122) 是 随机 过 程 理论 中 的 一 个 基本 关系 。 为 得 到 这 个 式 子 , 我 们 进行 如 下 步骤 : 设 
y(n) 表 示 图 1.11 中 由 输入 kx(n) 产 生 的 滤波 器 输出 -我 们 发 现 y(n) 也 是 一 个 可 由 滤波 运算 
收 正 的 广义 平稳 离散 时 间 随 机 过 程 。 因 此 ,给 定 滤波 带 输 入 端的 自 相 关 函 数 , 即 











rt) = aa 一 站 
我 们 可 以 将 滤波 器 输出 y(n) 的 自 相 关 隔 数 用 相应 的 方法 表示 为 
ro} = Ely(n)y*(n — 1)] (1.123) 
其 中 Yan) 与 wan) 之 间 的 关系 可 表示 为 卷 积 和 的 形式 
= Daw (n ~ i) (4.124) 
类 亿 地 .可 以 写 出 如 下 式 子 
y*{n- i) = PG ut{n—{—k) (1.125) 


将 式 (1.124) . 式 (1.125) 代 人 式 (1.123) 中 ,并 交换 期 望 和 求 和 的 次 序 ,可 知 自 相关 函数 r(A 
r, (对 较 大 的 门 之 间 的 关系 为 


= È Dade -it (1.126) 


最 后 ,对 式 (1.126) 两 边 同 时 取 离 散 依 里 叶 变 换 ,并 引用 功率 谱 密 度 的 性 质 1 以 及 线性 滤波 器 
的 转移 函数 等 于 其 脉冲 响应 的 傅 里 叶 变 换 这 一 事实 , 即 得 式 {1.122) 的 结果 。 


1.14.1 功率 谱 分 析 仪 
假设 图 1.11 中 的 离散 时 间 滤 波 器 设计 成 具有 带 通 特性 , 即 滤波 器 的 幅度 响应 定义 为 


wy) 上 lo ~ a| < Aw 

Wate" = f 区 间 x < w 二" 的 剩余 部 分 
该 幅度 响应 如 图 1.12 所 示 。 再 假设 滤波 器 的 角 频 率 宽度 为 2Aw, 它 取 足 够 小 以 使 得 其 内 部 的 
频谱 为 常数 。 热 后 ,利用 式 (1.122) 可 以 写 出 : 


_ Slow) lw — wal <= Aw 
sw) = {° 区 间 一 x < 中 二 下 的 剩余 部 分 (1.128) 


其 次 ,利用 功率 谱 密度 的 性 质 4 和 性 质 5, 可 将 实 随机 输入 得 到 的 滤波 器 输出 的 均 方 值 表示 为 


{1.127) 
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P, = 去 | 5, Cade 
Td -7 


2Aw . 2Aw 
= “Aq Oe) + Sr Sk ws.) 


= 29% 5¢u,) (对 实数 据 ) 

Ste, BY H 

tP, 
~ 2Aw 
FUP Awin 为 对 应 于 滤波 器 通 带 的 分 数 倍 Nyquist 间隔 ， 式 (1.129) 表 明 ,在 中 心 频 率 wm. 处 测 
出 的 滤波 器 输入 u(n) 的 功率 谱 密 度 值 ,等 于 滤波 带 输 出 的 均 方 值 P, KRU PRA. A 
此 , 式 {1.129) 可 作为 构建 功率 谱 分 析 仪 的 数学 基础 ,如 图 1.13 所 示 。 在 理想 情况 下 ,此 处 采 
用 的 高 获 时 间 带 通 滤波 器 应 该 满足 两 个 要 求 ; 即 应 该 具有 固定 带宽 和 可 调 中 心 频率 。 很 明显 ， 
在 实际 的 滤波 器 设计 中 ,我 们 只 能 逼近 这 两 个 理想 要 求 。 另 外 必须 注意 到 ,图 中 输出 端 平均 功 
率 计 读数 仅仅 是 有 限 平均 时 间 内 各 态 上 历经 过 程 y(n) 的 期 望 功率 的 近似 值 。 


IHI 





S{w.) (1.129) 





= | ‘ 








图 1.13 功率 谱 分 析 赂 


例 3 AMR 

如 果 一 个 堆 均 值 随机 过 程 的 功率 谱 密 度 对 所 有 频率 都 为 常数 , 即 

Sw) =o 对 一 rw 
其 中 fF 为 过 程 的 一 个 样本 的 方差 , 则 该 过 程 称 为 白 嗓 声 。 设 该 过 程 通过 图 1.12 中 所 示 
的 离散 带 通 滤波 器 , 则 由 式 {1.129) 可 知 ,滤波 器 输出 的 均 方 值 为 
_ 20 Aw 
e x 

白 噪声 具有 任 闹 两 个 样本 都 不 相关 的 性 质 , 用 自 相关 函数 表示 为 


rir} = d'So 
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其 中 6.94 Kronecker- 函数 


5 Si t= 

"Tlo 其 他 
落 白 噪声 是 南 斯 自 噪声 , 则 该 过 程 人 性 意 两 个 样本 是 统计 独立 的 .从 某 种 意义 上 说 , 商 斯 嗓 
声 表 示 了 最 大 随机 性 。 


1.15 平稳 过 程 的 Cramer 谱 表 示 


式 (1.113) 提 供 了 确定 广义 平稳 过 程 功率 谱 密度 的 一 种 方法 。 男 一 方法 是 使 用 平稳 过 程 
的 Cramér 谱 表 示 。 根 据 该 表示 法 ,离散 随机 过 程 utn) 可 用 傅 里 叶 反 变换 描述 为 (Thomson， 
1982) 


u(n) = = [mez (1.130) 


如 果 该 过 程 u(n) 为 没有 周期 分 量 的 广义 平稳 过 程 , 则 增 量 过 程 (incerement process )dZ (w) HA 
如 下 基本 性 质 ， 


1) dZ(w) 的 均值 为 0, 即 


EldZ(o})]=0 WHA o (1.131) 
2) 广义 谱 密度 可 依据 增 量 过 程 表示 为 
E[dZ (w) dZ* (v)}] = S(w) 6(w — v) dwdv (1.132) 
So) o RPMS 函数 , 旦 对 于 一 个 连续 函数 G(w), 它 满足 如 下 第 选 特性 (sifting 
property) 
去 /casle ~ r)a = Glo) (1.133) 


换 名 话说 ,对 于 广义 平稳 离散 随机 过 程 n(n), 贝 式 (1.130) 定 义 的 增 量 过 程 42(w) 是 一 个 零 
均值 正 交 过 程 。 更 确切 地 说 ,dZ(w) 可 看 做 以 类 似 于 时 域 中 描述 普通 白 噪声 的 方法 在 频 域 中 


描述 的 白 噪声 过 程 。 
式 (1.133) 连 同 式 (1.132) ,为 功率 谱 密 度 5(&) 提 供 了 另 一 个 基本 定义 。 对 式 (1.130) 册 


边 取 复数 共 轿 并 用 o 代替 w ,可 得 
(m= 去 [em dZ* (v) (1.134) 
因此 ,用 式 (1.134) 乘 以 式 (1.130), 可 将 ee) RE EEA 
umf = any ef 上 cr dZ (w) dZ* (v) (1.135) 
其 次 ,对 式 (1.135) 两 边 取 数学 期 望 并 交换 期 望 与 双 积分 的 顺序 , 即 得 


Ellut nj] -zf f> iu- BY AZ (a) dZ* (py) | (1.136) 
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如 果 利 用 式 人 1.1327 和 式 (]. as dZ(w) 的 基本 性 质 ,可 将 式 (1.,136) 简 化 为 
Ellu(n)|] = /5 S(w) dw (1.137) 


ACL. PAA Ellen) RA ue) Ae. 右边 等 于 功率 谱 密 度 S(w) 曲 线 下 
面 的 面积 乘 以 因子 172r。， 相 应 地 , 式 (1.137) 只 是 式 (1.120) 措 述 的 功率 谱 密度 Sw) PER S 
的 重 述 。 





1.15.1 基本 方程 
用 空 变量 v 代替 式 (1.130)Cramer 谱 表示 中 的 w ,并 将 结果 代 人 式 (1.103) 中 ,我 们 得 到 
Uylw) = =f f > (eem) dZ (v) (1.138) 
PRR BINA BIKA. PAI E 


= > enn (1.139) 


EPH Dirichlet 4 (Dirichlet kemel}. THER Ky (co } Sea AMA el * AWW ee! ANA 
2N + 1 的 几何 级 数 。 为 了 求 这 个 级 数 之 和 ,我 们 可 重新 定义 这 个 核 为 
elexf1 _ g Hel2N+1)) 
1 = g 
sin((2N + 1)w/2) 
~ sin(w/2) 
注意 (0) =2N+ 1。 回 到 式 (1.138) ,我 们 可 利用 式 (1.139) 中 给 出 的 Dirichlet 4% Ky (wo) UE 
义 将 式 (1.138) 写 为 





Kylw) = 
(1.140) 





a f Kuw -dz (1.141) 
上 式 是 一 种 线性 关系 , 称 为 功率 谱 分 析 的 基本 方程 。 

一 个 积分 方程 即 在 积分 符号 下 包含 一 个 未 知 函 数 。 在 式 (1.141) 所 述 功率 谱 分 析 范 围 内 ， 
增 量 dZ(w) 是 一 个 未 知 函 数 , zwv(ow) 是 已 知 的 。 故 该 方程 可 看 敌 第 一 类 弗 雷 德 堆 尔 姆 积分 方 
程 (Fredholm integral equation of the first kind) 的 一 个 例子 (Moerse & Feshbach, 1953; Whittaker & 
Watson, 1965). 

注意 , Uy (or) AY AES AS RH HEA, zuv(w) 是 确定 功率 谱 密度 
的 一 个 足够 的 狂 计 量 。 这 个 性 质 使 得 运用 式 (1.141) 进 行 谱 耸 析 显得 更 加 重要 。 


1.16 功率 谱 估计 


有 实际 重复 性 的 一 个 问题 是 如 何 儒 计 广义 平稳 过 程 的 功率 谱 密 度 。 遗 憾 的 是 ,这 个 问题 
是 很 复杂 的 ,由 于 存在 一 系列 令 人 迷惑 不 解 的 功率 谱 癸 计 方法 ,而 且 每 个 方法 都 声称 具有 或 表 
现 出 某 些 最 优 性 质 。 更 糟 的 是 , 除非 小 心地 选择 正确 的 方法 , 否则 可 能 得 到 误导 的 结论 。 

两 种 原理 上 不 同族 的 功率 谱 估计 方法 在 文献 中 被 标记 为 参数 法 和 非 参 数 法 。 这 些 方 法 的 


Ux(w) = 
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基本 思想 将 在 下 文中 讨论 。 


1.16.1 


参数 法 


在 谱 估 计 的 参数 法 中 ,我 们 从 假定 手头 掌 媒 的 代表 这 种 情况 的 某 一 随 棉 模型 出 发 。 取 岂 
于 采用 的 特殊 模型 ,容易 区 别 三 种 涉 同 的 震 数 法 谱 估 计 ， 


(1) Æ M HER È ( model-identification procedure) 在 这 类 和 参数 法 中 ,假设 横 型 的 转移 了 两 数 是 


(2) 


(3) 


一 个 关于 ol? OR a a eR RR AA A, S114 所 示 。 所 
pe BS a ye Tee BR OR A, EAF 
模型 之 一 (Kay & Marple, 1987; Marple , 1987; Kay, 1988) : 

(i) RAR AB Ra AR 模型 ; 

Ci) REAPER MA 异型， 

(ii) BASRA Bee ARMA 模型 。 





iia HH aM Hier) ARE 
方差 为 o? 发 征 的 过 程 中 本 Arite mje 


i) og F MLA 的 参数 伦 过程 





图 1.14 功率 谱 居 计 模 型 辨识 法 示意 图 


在 这 些 模型 箱 出 端 所 测 得 的 功率 谱 分 别称 为 AR TMA 谱 和 ARMA 谱 。 利 用 式 
(1.122) 的 输入 输出 关系 , 设 模 型 输入 的 功率 谱 5tw) 等 于 白 噪声 的 方差 c , 则 可 求 出 
模型 输出 端的 功率 谱 S tw) 等 于 平方 幅度 响应 18(e*) 1 乘 以 oo。 问题 变 为 估计 模 
过 参数 [ 即 参 数 化 转移 函数 品 (e ) ,以 使 得 模 理 输出 端 所 产生 的 过 程 在 某 种 统计 意 
义 上 为 研究 中 的 随机 过 程 提 供 一 个 可 接受 的 表示 。 这 样 一 种 功率 谱 钻 计 实 际 上 可 看 
做 模型 (系统 ) 闪 识 癌 题 。 在 这 里 所 定 习 的 依赖 模型 的 谱 中 ,AR 谱 最 流行 。 原 因 有 两 
点 :1) 包 含 未 知 AR 模型 参数 的 联 立方 程 组 是 有 线性 形式 ,2) FER BK, 
最 小 方差 无 失真 响应 法 !MVDR minimom-vanance distortionless response method} 为 了 
描述 功率 谱 估计 的 第 二 种 参数 法 ,考虑 图 1.15 所 示 的 情形 。 过 程 a(n) 被 加 到 一 个 
横 识 滤波 器 (一 个 具有 全 零点 转移 图 数 的 离散 时 间 滤 波 器 )。 在 MVDR 法 中 ,选择 滤 
波 器 系数 ,使 得 在 某 些 角 频率 w 处 小 波 器 频率 响应 等 于 1 的 约束 下 滤波 器 输出 方差 
(该 方差 相同 于 零 均 值 过 程 的 期 望 功率 ) 最 小 。 在 这 个 约 东 下 ,过程 n(n) 以 角 频 率 
wo 无 失真 通过 滤波 器 ,而 wo 以 外 的 信和 号 被 衰减 掉 。 







在 某 个 角 频 率 wr SRK 





随机 SFAR MVDR 
RNR 

过 程 谱 的 功率 谱 殊 盖 过 程 

u(t) 横向 滤波 器 nae 





图 1.15 功率 谱 估 计 MYDR 法 示意 图 

基于 特征 分 解法 (eigendecomposition-based method) ”在 这 最 后 一 种 参数 谱 估计 法 中 ,过 
程 wtn) 集 平均 相关 短 阵 R 的 特征 分 解 通常 把 信息 空间 分 为 两 个 独立 的 子 空间 :信号 
子 空间 和 噪声 子 空间 。 这 种 分 解 方 法 可 用 米 导出 一 个 适当 的 算法 以 便 估计 功率 谱 
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(Schmidt, 1979, 1981) (特征 分 析 和 子 空间 分 解 概念 将 在 附录 上 中 讨论 )。 
1.16.2 JEH 


在 非 参数 法 动 率 谱 估 计 中 ,没有 对 研究 的 随机 过 程 做 假设 讨论 的 出 发 点 是 基本 方程 
《1.141)。 依 据 解释 该 方程 的 方法 不 问 , 我 们 可 以 区 分 出 两 种 不 同 的 非 参 数 法 : 


1) 周期 图 法 传统 上 .把 基本 方程 (1.141) 音 做 两 个 频率 陶 数 的 卷 积 。 其 一 ,也 数 Cw) 
表示 无 限 氏 时 间 序 列 1u(n) 的 离散 传 里 叶 灾 换 ;该 函数 源 于 增 量 变量 4Z(w) 作 为 
Ulo) GRE do 乘积 的 定义 ， 另 一 个 频率 函数 是 式 (1.140) 定 义 的 核 Ky Cm) 
这 个 方法 引导 我 们 将 式 (1.113) 看 做 功率 谱 密度 8S(w) 的 基本 定义 ,从 而 将 启 期 图 
10,(w) IN 作为 数据 分 析 的 出 发 点 。 亿 是 ,向 于 周期 疼 不 是 功率 谱 密 度 的 充分 统计 
而 受到 -系列 限制 。 其 实质 是 因为 在 周期 图 法 中 忽略 了 相位 信息 的 使 用 。 因 此 ,周期 
图 法 的 统计 不 充分 性 为 所 有 基于 或 等 效 于 周期 图 法 的 方法 所 间 有 . 

2) 多 窗口 法 ”一 个 时 有 建设 性 的 非 参 数 法 是 将 基本 方程 (1.141) 看 做 增 基 变量 4Zt%) 的 第 
一 类 弗 志 德 霍 尔 姆 积分 方程 ,其 日 的 是 用 统计 性 质 获得 在 某 种 意义 上 接近 于 dz(w) 的 近 
似 解 (Thomson，1982) 。 达 到 这 个 重要 目标 的 关键 是 使 用 由 一 组 特殊 序列 (如 Slepian F 
列 0 或 称 为 离散 长 球面 序列 ) 定 义 的 答 口 。 这 些 序 询 是 研究 时 间 受 限 或 频率 受 限 系统 的 
基础 。 这 族 窗口 的 著名 性 质 是 它们 的 能 量 分 布 以 一 种 特殊 的 方法 相 加 ,该 方法 共同 定义 
了 一 个 理想 的 (从 库 内 相当 于 库 外 总 能 量 集中 的 意义 上 ) 算 形 频率 柜 (bin)。 这 个 性 质 也 
人 允许 我 们 用 谱 分 辩 率 来 换取 谱 特 性 的 改善 (如 降低 谱 估 计 的 方差 )。 


一 般 来 说 ,离散 随机 过 程 n(n) 其 有 一 个 混合 谱 ,其 功率 谱 包 含 两 个 分 量 :确定 性 分 量 和 
连续 分 量 。 前 者 表示 增 量 过 程 duZ(w) 的 一 阶 矩 ,并 可 由 下 式 显 式 给 出 


E|dZ(w)] = > aslo 一 o) de (1.142) 


其 中 8(w) 为 频 域 中 的 迪 拉 克 ( Dirac)6 AK, wo, 为 过 程 w(n) 包 含 的 周期 性 分 量 或 线性 分 量 
的 角 频 率 , mw 为 其 幅度 。 另 一 方面 ,连续 分 量 表 示 增 和 僵 过 程 的 二 阶 中 心 害 , 即 
El|dZ(w) — E[dZ (w)) (1.143) 


行 细 注 意 一 阶 矩 和 二 阶 矩 的 差 押 是 很 重要 的 。 

用 参数 法 计算 得 到 的 谱 比 用 非 参数 法 (经 典 法 ) 得 到 的 谱 一 般 具 有 更 陡峭 的 峰值 和 更 高 的 
分 辨 率 。 因 此 ,应 用 参数 法 更 适合 于 估计 确定 性 分 量 。 而 且 特 别 地 ,在 信 噪 比较 高 时 ,这 些 方 
法 常用 来 定位 圳 性 噪声 中 周期 性 确定 性 分 量 的 频率 。 另 一 种 已 被 证 明 的 确定 性 分 量 估计 技术 
是 经 典 的 最 大 似 然 法 {前面 已 经 提 到 过 ,附录 DD 将 简要 介绍 最 大 似 然 估 计 )。 当 然 ,如 果 支 配 
一 个 过 程 发 生 的 物理 定律 以 精确 的 方式 或 某 种 统计 意义 上 的 近似 方式 匹配 一 个 随机 模型 (如 
AR 模型 ), 则 对 应 于 该 模型 的 参数 法 可 以 用 来 估计 该 过 程 的 功率 谱 。 但 如 果 感 兴趣 的 随机 过 
程 只 有 连续 功率 谱 而 且 不 知道 产生 该 过 程 的 物理 机 制 , 则 椎 荐 人 们 使 用 多 窗口 非 参 数 法 。 

本 书 集中 讨论 了 第 一 类 和 第 二 类 谱 估 计 参 数 法 ,这 是 因为 其 理论 很 自然 地 与 自 适应 滤波 























CD Slepian 序列 的 详细 信息 在 slepian(1978) 的 论文 中 给 出 。 计 算 这 种 长 数据 长 度 序列 的 方法 在 Thomson (1982) iÈ R HI 
附录 中 第 出 。{ 其 他 信息 , 见 Thomson 的 论文 ; Mullis 和 Secharf(1991) 也 在 频谱 分 析 中 讨论 了 Slepian 岸 列 的 作用 。] 
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AEM, 
1.17 随机 过 程 的 其 他 统计 特征 


迄今 为 止 在 所 讨论 的 内 容 中 ,我 们 将 注意 力 集中 于 离散 随机 过 程 的 局 部 特性 上 。 根 据 这 
种 特殊 性 质 , 俯 需 要 将 均值 指定 为 过 程 的 一 阶 和 矩 ,并 把 它 的 自 相 关 函 数 指 定 为 二 阶 和 矩 。 由 于 身 
相关 范 数 和 功率 骨 密 度 形成 一 傅 里 时 变换 对 ,我 们 可 以 等 效 地 用 功率 谱 密 度 皮 代 自 相关 函数 。 
使 用 第 1.1 节 到 第 1.14 节 描 述 的 二 阶 统计 量 , 适 合 于 研究 教师 监督 下 的 线性 自 适 应 滤波 器 上 
作 原 理 。 但 是 , 当 我 们 进行 到 本 书后 面 以 便 考 虚 困 难 应 用 (例如 育 反 卷 积 ) 时 ,必须 求助 于 使 用 
随机 过 程 的 其 他 统计 特性 。 
能 给 我 们 带 来 随机 过 程 附加 信息 的 随机 过 程 的 两 个 特殊 性 质 { 这 些 性 质 在 盲 反 卷 积 的 研 
究 中 已 被 证 明 是 有 用 的 ) 如 下 ; 
1) 高 阶 统计 量 (HOS, high-order statistics) 扩展 平稳 随机 过 程 特性 的 明显 方法 就 是 包含 过 
程 的 高 阶 统计 量 。 这 可 通过 引 人 累 积 量 及 其 傅 里 叶 变 搞 ( 称 为 冤 谱 ) 来 获得 。 实 际 上 ， 
零 均值 随机 过 程 的 累积 量 (eumulant) 和 多 谱 {polyspectra) 可 被 分 别 着 做 自 相 关 函 数 和 功 
率 谱 密 度 的 推广 。 重 要 的 是 ,应 注意 到 高 阶 统计 量 仪 在 非 高 斯 过 程 范 闭 内 才 有 意义 。 
更 进一步 ,为 了 利用 非 高 斯 过 程 或 高 阶 统计 量 ,我 们 需要 利用 某 些 形式 的 非 艇 性 滤波 。 
2) 循环 平稳 特性 (cyclostationarity) ”在 实际 中 我 们 常常 过 到 的 一 类 重要 随机 过 程 中 ,过 程 
的 均 信 和 自 相关 函数 呈现 周期 性 ,如 对 所 有 1, At, 有 如 下 关系 
ult, + T) = afr) (1.144) 
和 
rt, + Tet + T) = 区 (1.145) 
其 中 二 Flt, RAS PESEAT Et 的 值 ,7 了 表示 周期 。 满 趾 式 (1.144) 和 和 式 (1.145) 的 随 
机 过 程 在 广义 上 说 它 是 循环 平稳 的 (Franks，1969; Gardner & Franks, 1975; Gardner, 
1994a,b)。 将 随机 过 程 建 模 为 具有 循环 平稳 人 性 ,需要 把 一 个 新 的 维 数 ( 即 周期 了) 增加 
到 过 程 的 局 部 描述 中 。 循 环 平稳 过 程 的 例子 包括 通过 改变 幅度 .相位 或 正弦 载 变 频率 
面 获得 的 调制 过 程 。 注 意 , 不 像 高 阶 统 计 , 人们 可 弄 助 线性 滤波 方法 来 开发 利用 循环 
平稳 特性 。 
在 第 1.18 节 和 和 第 1.19 节 中 ,我 们 将 讨论 随机 过 程 的 这 两 种 特 萄 方面 , 即 多 谱 和 谱 相 关 窗 
度 。 上 面 已 经 提 到 过 ,多 谱 提供 了 平稳 随机 过 程 的 高 阶 统 计 的 频 域 描述 。 类 伺 地 , 谱 相 关 帘 度 
提供 了 循环 平稳 随机 过 程 的 频 域 描述 。 


1.18 多 谱 


SCS MEF RRM. Buln), uatr), ulna t r) 分 别 表 小 在 时 刻 n, 





中 甘于 谱 分 析 的 其 他 方法 , 讽 Gardner( 1987). Marple( 1987) , Kay( 1988) .Thomson{1982} 以 及 Mullis 和 Schad{1991)。 
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8+z B+, 1 获得 的 该 过 程 的 观 涡 值 。 这 些 随机 变量 组 成 下 x 1 sda 
u = [u(a),ula + 7 ula + m 
相应 地 ESL kxl 
z= [zz 
则 我 们 可 以 定义 on) k RB, ARH rtryr ax) ,作为 累积 量 牛 成 函数 秦 
BEFFA H pa) z A ZR AL Priestley, 1981; Swami & Mendel, 1990; Gardner, 1994a, b) , BH 
K(z) = In E[exp(z"n)] (1.146) 
于 是 ,过 程 un) k RP Re Ak KR KR AT eae 
zf aa) 为 实 值 的 。 特 别 地 ,二 阶 .三 阶 和 四 阶 累 积 量 分 别 定 义 为 
olr) = Elu(nju(n + 7)] (1.147) 
CTi Ta) = Elu(n)uln + 7,)ula + 72)) (1.148) 


) 

Elu(nju(n + 7,)|Elu(a + rula + 75) 
Elu(n)utn 十 2] 五 | ef + Tsjuln 十 m)l 
一 Elu(nju(n + rj |Elutn + r jufn + 72)| 

根据 式 (1.147) ~ 式 (1.149) 的 定义 ,我 们 社 意 到 以 下 几 点 ; 

1) 二 阶 累 积 量 olr A APSR zf 一样; 
2) = BARS olr, 7.) PSE El ulnjulnt r Jula + 2.) tF; 
3) 四 阶 累 积 景 aulro rn MAME ElLuladu(nst ec, ulant rr)u(tnt cj 不 一 样 。 
为 产生 四 阶 和 累积 量 , 涡 要 知道 下 阶 矩 和 自 相 关 函 数 的 6 个 不 同 值 。 

注意 ,第 k AY it BARE elr Ta ,+_1) 并 不 依赖 于 时 间 fig ATZAR, ulr) 
ME cP PBA, MER FER EE | ma aa m h tum um) 
zt mu ) 直 到 堪 阶 的 所 有 联合 矩 存 在 且 等 于 相应 的 | zfmnl +r), ula tr) ouat A 
到 天 阶 的 所 有 联合 矩 , 则 称 过 程 un SE k DPR RA HOP n teem tr, a, + 7} he 


个 允许 集 (Priestley, 1981)。 
下 面 ,考虑 由 脉冲 响应 h, 表征 的 线性 时 不 变 系 统 。 设 系统 由 过 程 s(n) 激 励 , 该 过 程 由 独 
立 等 分 布 (i.i.d) 的 样本 组 成 。 设 u{n) 表 示 所 产生 的 系统 输出 。 则 un) A k RREA 


eT), 72.73) = Llu(a)u(n 二 Ten + Tat + 74)} 
i (1.149) 


ETa, Tas raa Ti = n> hihi+r Aina, (1,150) 
式 中 y, 为 输入 过 程 x(mn) 的 上 阶 累 积 量 。 注 意 , 式 (1.150) 右 边 除 了 用 累加 符号 代替 期 望 符号 


Sh REMF k BFE. 
k 阶 允 谱 或 天 阶 累积 量 谱 定 义 为 (Priestley, 1981; Nikias & Raghuveer, 1987) 
Cilan, ta, a- paga) = Po D ale Ta ees Tei) (1.151) 
x exp| 一 /ai Ty t GT, t... + write] 
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多 谱 Cy Cw oe oy 存在 的 充分 条 件 是 相关 的 k iit BARES eo, Cr, Te a Ty) APE RT 
可 如 的 , 即 


> 2 (Ca Tis Tas Te <00 (1.152) 


夏天 一 Tt- 


功率 谱 、 双 谱 和 三 庶 是 式 (1.151) 中 定义 的 上 阶 少 谱 的 特例 。 上 县 体 地 ,表述 如 下 : 
1) 4k = 2 时 ,有 一 般 的 功率 谱 


Cwm) = = ea{t,) exp(—je,r,) (1.153) 
即 式 (1.116) 给 出 的 EWK 关系 的 重 述 。 
2) “4k =3, AH ER 
Cia, @2) = > > ctrl Tzjexp|[ 一 并 woi7i + wa77)| (1.154) 


人 二 一 OCT 二 一 


3) 当下 =4 时 ,有 三 谱 , 定 义 为 


Cali, wa, os) = > 之 $ cal Tis Ths 73) exp|— flat, + aT + 573) | (4.155) 


Ty= hE T= Oe 


多 谱 的 一 个 著名 性 质 就 是 , 当 过 程 wtn) 为 高 斯 过 程 时 所 有 高 于 二 阶 的 多 谱 都 为 0。 这 个 性 质 
是 从 多 元 高 斯 分 布 中 所 有 高 于 二 阶 的 联合 累积 量 都 为 0 的 事实 直接 推出 的 结果 。 因 此 ,如 时 
过 程 u(n) 为 高 斯 过 程 , 则 双 谱 ,三 谱 及 所 有 更 高 阶 谱 都 为 0。 于 是 ,高 阶 谱 提 供 了 随机 过 程 偏 
离 高 斯 特性 的 测度 。 

kT RB olro roo r) F k MEW CG Cows.. ona ARE E E E 
对 。 WHH, BH Clw, w.o wm 8 g t To o n E ERR ER E 
Clt To. eo Tee DÆ G lwm. a i) 的 多 维 离散 傅 里 叶 反 变换 。 例 如 ,给 定 双 谱 
Cw oz) ,利用 二 维 傅 里 叶 反 变换 可 以 确定 三 阶 累 积 量 clr T ) 如 下 


2 a Ed 
or) = (1) f f Glo os) explilor + wr)]do doz (1.156) 
我 们 可 以 用 这 个 关系 来 给 出 双 谱 的 另 一 种 定义 , 即 根据 Cramer 谱 表 示 , 我 们 有 
u(n) = 元 f ‘em dZ(w) 对 所 有 (1.157) 
因此 ,在 式 (1.148) 中 利用 式 (1.157) ,可 得 到 
cf71， Ta) BES) f f explint [fa + wa + ws)| (1.158) 


x exploit, + wy) |EldZ (w,)dZ (on) dZ{w)] 


KRAO. 156) SRC. 158) 4 V1, A SG a PR 

{ie az] dew, da, ay + oz + @, = 0 
其 他 

从 式 (1.159) 可 知 ,又 谱 Glo ,ws) 表 示 各 自 频 率 相 加 到 零 的 三 个 居 里 时 分 量 平 均 积 的 贡献。 


E| aZ (on) dZ(oajdZ(osjj = {1.159) 
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这 个 性 质 是 第 1.14 节 中 普通 功率 谱 解 释 的 推广 。 用 类 似 的 方法 ,可 以 得 出 三 谱 的 解释 。 
一 般 地 , 当 阶 数 k 大 于 2 时 ,光谱 Cæ stay = e e OY AA, E 
Cilo, Wz, ea wk) 一 (Cilo, Ws. <ar- expligrlwi, ar, res sog- (1.160) 
APLC. Cw, ,@2,..-, wo, iS i$. (e,.0.,....0,- AAA. MA, 
期 为 2x AJA Bo Be, BD 


Cala, @2, a oga] = Celw + 2m, w + ŽE, a kl + 2n) (1.161) 


BG SASF es ML aE BE BI 8 a a ET BS phase-blind) ,过 程 的 多 谐 对 相位 是 敏感 的 。 更 确 
切 地 说 ,功率 谱 密 度 为 实 值 :参考 式 (1.122) 的 输入 输出 关系 可 以 看 出 , 当 平 稳 随 机 过 程 通过 线性 
系统 时 ,系统 相位 响应 的 信息 在 输出 乙 滨 谱 中 被 完全 艇 坏 。 与 此 相对 照 ,多 谱 是 复 值 的 ,内 此 在 
类 似 情 况 下 ,输出 信号 的 多 谱 保留 了 系统 相位 响应 信息 。 这 就 是 为 件 么 多 湾 能 够 为 那些 只 能 以 
输入 信和 号 概率 模型 形式 获取 输出 信号 和 某 些 附 加 信息 的 未 知 系统 的 理 汰 识 提 供 有 用 的 工具 。 


1.19 谱 相 关 密 度 


通过 引用 过 程 的 高 阶 统计 ,多 谱 保 存 了 随机 过 程 的 相位 信息 ,但 只 有 当 过 程 为 非 高 斯 过 程 
时 才 是 可 行 的 。 当 过 程 是 广义 循环 平稳 时 ,如 式 11.144) 和 和 式 人 1.145) 所 定义 的 ,也 有 可 能 保存 
相位 信息 。 后 者 具有 如 下 两 个 超过 高 阶 统计 量 方法 的 重要 优点 : 

. 相位 信息 包含 在 过 程 的 二 阶 循环 平稳 统计 中 ;因此 ,能 够 以 高 效 的 计算 方式 利用 相位 信 

息 , 从 而 避免 使 用 高 阶 统 计量 。 

© 相位 信息 的 有 效 保 存 ,不 要 考虑 高 斯 特性 。 

然后 ,我 们 考虑 一 个 广义 循环 平稳 的 离散 随机 过 程 xf ny。 不 失 一 般 性 ,假设 过 程 是 零 均 
值 的 ,wu(n) 的 集 平 坞 自 相 关 闵 数 的 常用 方式 为 

rín n — Kk) = Elu(n)ut(n 一 ky] 

在 循环 平稳 的 条 件 下 , 对 于 每 一 个 让 BR rn - BD n ABRAHAM, 
EF uln}) 的 离散 时 间 特 性 ,可 以 将 自 相 关 函 数 r(na- kT RAH PS (Gardner, 
1994a,b) 








r(n n — k) = Pe o Aine (1.162) 


式 中 n 和 上 都 只 取 整 数值 ,有 旦 集合 {a1 包 括 了 所 对 应 的 健 里 叶 系 数 不 为 0 时 a 的 所 有 值 。 傅 
里 叶 系 数 * (Ek) 自身 定义 为 


r*(k) = 1 Srn, n- kje rent jrak (1.163) 
其 中 ,样本 数 N 表示 周期 。 等 效 地 ,根据 式 (1.163) ,可 定义 
r(k) = 5 {Sa - pee] jorat (1.164) 
#=0 


其 中 Ck ) 称 为 循环 自 相关 函数 ( cyclic autocorrelation function) , 它 具 有 如 下 性 质 : 
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1) (HPF BAR CAVE a 为 周期 的 半期 函数 日 周期 为 2。 
2) 对 于 任意 a ,根据 式 (1.164) ,我 们 有 
rk} = (1) rk) (1,165) 
3) 对 于 a = 0 WR, OCT. 164) BY 
rk) = rik) (1.166) 
其 中 rt) 是 平稳 过 程 的 普通 和 白 想 关 函数 。 


根据 式 (1.116) 和 式 (.]117) 给 出 的 Einstein- Wiener-Khintchine 关系 ,普通 型 月 相关 国 数 和 
广义 平稳 随机 过 程 的 功率 谱 组 成 一 个 傅 里 时 变换 对 ， 相 应 地 ,我们 可 把 循环 自 相 关 画 数 亚 (5) 
的 离散 人 情 里 时 变换 定 交 为 {fGardner，1994a,b) 


Siw) = = r*{k)o Te 一 元 TUER (1.167) 
= 30 


S* (wo) BRATS AEM HE (spectral-correlation density), 4a #0 IJE ARIA. 4a=0h, LRA 
(w) = Slw) 

AP 5(w) 是 普通 功率 谱 密 度 。 

根据 定义 式 (1.164} 和 式 (1.167) ,我 们 可 建立 图 1.16 所 示 的 方 框图 ,用 米 测量 谱 相 关 密 度 
Swe Alb EE n(n) 是 循环 各 态 历经 的 (cycloergodic) ,这 意味 着 时 间 平 均 可 用 集 平均 
代替 ,“ 上 县 有 每 个 周期 取样 一 次 的 样 值 ” (Gandner, 1994a,b)。 根 据 图 1.16 所 示 的 实现 ,在 允许 
谱 分 量 带 宽 可 以 接近 零 的 极限 情况 下 ,SCw) 是 角 频 率 w+ ar Al w ~ ar 处 时 间 序 列 Cn) E 
所 包含 的 带宽 归 一 化 型 孔 相关 这 带 谱 分量 { Cardner，1994a,b)。 注 意 ,图 中 两 个 闪 带 滤波 器 是 
相同 的 ,二 者 都 有 一 个 频带 中 心 角 舌 率 wm 和 带宽 Aw, A Aw 小 于 w, 但 太 于 图 中 输出 问世 相关 
器 中 所 有 几 的 平均 时 间 的 倒数 。 这 个 方案 的 一 个 通道 中 ,输入 w(n) 和 exp( - jran ) HR FEA 
一 个 通道 中 ,uln) 与 ep(jren) 相 乘 ,滤波 结果 的 信号 再 送 人 互相 关 器 。 正 是 这 两 个 乘法 ( 优 
先 级 高 于 相关 器 ) 在 a 非 零 值 的 情况 下 提供 了 具有 相位 保护 特性 的 谱 相 关 密 度 S Cw)。 


g jnar 


HAE 
BIR 
uin) 





通 带 中 心 频率 = w 
ehm AEE = am 
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1.20 本 章 小 结 
本 意 研究 了 平稳 离散 时 间 随 机 过 程 的 部 分 特性 , 它 在 时 域 中 由 两 个 统计 参数 惟一 描述 : 
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1) 均值 ,为 常数 ; 

2) 自 相关 函数 , 它 只 依赖 于 过 程 的 伍 意 两 个 样 丰 间 的 时 间 差 . 

过 程 的 殉 值 或 者 和 白 然 为 零 ,或 者 可 以 从 这 个 过 程 碱 为 一 个 新 的 零 均 值 过 程 。 央 此 ,在 本 书 
后 续 章 节 的 讨论 中 ,- : 般 均 假设 过 程 的 均值 为 零 。 于 是 ,给 定 一 个 零 均 值 复 值 平稳 离散 时 间 随 
棉 过 程 的 M x 1 观测 向 量 wt mw) ,我 们 可 通过 定义 Mx M BERERE REA on) 5 oh 
积 的 统计 期 望 [ 即 及 = aju” (na)] 部 分 地 描述 了 这 个 过 程 。 年 阵 及 为 埃 尔 米 特 - 托 伯 利兹 
( Hennitian-Toeptitz) #2 f , 它 几 和 平 总 是 绝对 正定 的 。 

本 章 讨 论 的 另 一 个 课题 是 随机 模型 层 念 。 当 给 定 “组 已 知 统计 特性 的 实验 数据 而 日 需要 
Ay AOL BEN SAR, RITA ,对 于 一 个 合适 的 模型 ,一 般 有 了 两 个 要 求 : 

1) 足够 数量 的 模型 可 调 参数 ,用 来 捕获 输 人 数据 中 的 基本 信息 内 容 。 

2) 模型 数学 上 易 处 理 。 


第 一 个 要 求实 际 上 意味 着 模型 的 复杂 度 应 该 紧密 匹配 产生 输入 数据 的 基本 物理 机 制 。 只 
有 这 种 情况 下 ,对 输入 数据 的 大正 配 和 过 匹配 才 可 以 避免 。 第 二 个 要 求 通常 可 通过 选择 线性 
模型 得 到 满足 。 

症 线 性 随机 模型 族 中 , 自 回归 (AR) 模 型 通常 比 滑动 平均 (MA) 模 型 和 自 回归 滑动 平均 
{ARMA) 模 型 更 流行 的 一 个 重要 原因 是 :不 同 于 MA 或 ARMA 模型 的 情形 ,AR 系数 的 计算 可 中 
称 为 尤 水 -沃克 方程 的 线性 方程 系统 控制 。 再 则 ,除了 可 预测 分 量 外 ,我 们 可 用 满足 一 定 约束 
的 足够 高 阶 的 AR 模型 来 近似 一 个 平稳 离散 时 间 随 机 过 程 。 为 了 选择 合适 的 模型 阶 数 ,可 利 
用 Akaike 的 信息 理论 准则 或 Rissanen 的 最 小 描述 长 度 (MDL) 准 则 |。MDL 准则 的 一 个 有 用 特性 
在 于 , 它 是 一 个 一 致 模型 阶 数 估 计 器 。 

表征 广 祥 平稳 随机 过 稚 的 另 一 个 重要 办 法 是 用 功率 谱 密 度 或 功率 湾 。 在 本 音 的 后 半 部 
分 ,我 们 认识 了 依赖 于 过 程 统计 特性 的 三 种 不 同 谱 参 数 : 

1) FERFE Sio 它 定义 为 广义 平稳 过 程 的 普通 自 相关 函数 的 离散 健 里 叶 变 换 。 对 

于 这 样 的 过 程 , 自 相 关 函 数 为 埃 尔 米 特 的 ,总 是 使 5(w) 为 一 个 实 值 的 量 。 因 此 ,S$S(w) 
破坏 了 过 程 的 相位 信息 。 除 了 这 个 限制 外 ,功率 谱 密 度 被 用 做 显示 广义 胖 稳 过 程 的 相 
关 性 质 的 有 用 参数 。 

2) F C lesas.’ an) 它 定义 为 平稳 过 程 的 累积 量 的 窗 维 傅 里 叶 变 换 。 对 于 
k = 2 的 二 阶 统计 量 , 0, (wl ) 退 化 为 普通 功率 谱 窗 度 S(w)。 对 不 >2 的 高 阶 统计 量 , 多 
谱 取 复数 形 江 。 正 是 多 谱 的 这 个 性 质 ,使 它 在 处 理 需 要 相位 信息 的 场合 成 为 有 用 的 工 
R., 但 是 ,为 了 穗 多 谱 有 意义 ,过 程 必须 是 非 高 斯 移 ,而且 开发 利用 多 谱 中 所 包 售 的 相 
位 信息 要 求 使 用 非 线 性 滤波 。 

3) 谱 相 关 密 度 SCw) 它 定 义 为 广 处 循环 平稳 过 程 的 循环 自 相 关 阔 数 的 离散 傅 里 叶 变 
H, Y aOR, S lo) AAH; S a= 0 时 ,5" Cw) 退化 为 SC(w)。S“{w) 的 有 用 特征 
在 于 它 保留 了 相位 信息 ,而 且 可 异 助 线性 滤波 利用 这 一 特性 , 而 不 需 考 虑 过 程 是 否 为 
高 斯 过 程 。 

普通 功率 谱 密 度 , 多 谱 和 谱 相 关 密 上 度 的 不 同性 质 使 得 这 些 统计 参数 在 自 适 应 滤波 方 而 有 
各 自 的 应 用 领域 。 
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最 后 一 个 需要 涪 明 的 是 :二 阶 循环 平稳 过 程 各 常规 的 多 谱 理 沦 已 经 队 集 在 循环 多 谱 的 保 
护 侈 之 下 。 简 言 之 ,循环 多 谱 是 谱 囚 积 量 , 它 所 涉及 的 各 个 频率 (分 量 ) 可 合计 为 任意 循环 频 宣 
2 ,而 对 于 多 谱 它 们 必须 合计 为 零 。 


1.21 习题 


1， 序列 y(n) 与 n(n) 之 辣 的 关系 由 如 下 差分 方程 给 出 为 
y(n) = n+ a) — ula - a) 
其 中 a 为 常数 。 试 用 ul ER ol MAM, 
2. SE PAAR R'A HKR R WEA R BRERA, 
3， 一 个 数字 通信 系统 的 接收 信号 为 
uln} = s(n} + ein) 
(ARAB RITES on) RAE BSH BA, s(n) Al y(n) BY EERE 
R, 和 Ry 。 设 R, HILKRE RA 
Mdg Fi 
确定 条 件 , 使 噪声 方差 o 必须 满足 wm) 的 自 相 关 算 阵 为 非 奇 异 的 。 注 意 ,读者 必须 通过 
考虑 2x2 相关 惩 阵 来 说 明 这 个 推导 。 
4. 理论 上 , 方 阵 可 以 是 绝对 非 负 定 和 非 奇 必 的。 试 基于 如 下 2x2 


Rt a 
证 明 这 个 命题 的 正确 性 。 

5. (a) 式 (1.26) 为 平稳 随机 过 程 观测 向 量 ur:(a) 有 关 的 (时 +1) x ( 计 +1) 自 相关 矩阵 
Re 与 同一 过 程 观测 向 量 y(n) 有 关 的 Mx M AREE Ry 之 间 的 关系 ,试用 Ry 
表示 Rysio 

(b 用 式 (1.27) 重 复 上 述 过 程 。 
6. 一 个 一 和 阶 实 值 自 回归 (AR) 过 程 x(=) 满 足 如 下 实 值 差分 方程 
u(n} + au(n — 1) = v(m) 
式 中 a, 为 常数 ,v(n) 是 方差 为 o, 的 白 噪声 过 程 。 
(a) 证 明 v(n) 如 果 具 有 非 零 均值 , 则 AR 过 程 x(n) 是 不 平稳 的 。 
(b) 对 于 (m BASSE a 满 是 1a11<1 条件 的 情况 ,证 明 wln) 的 方差 为 





(ec) 在 (b) 中 给 定 的 条 件 下 ,对 于 0< a, <1 和 -1<&<0 两 种 情况 找 出 AR 过 程 u(y 
ARR. 
7. 考虑 由 如 下 差分 方程 描述 的 二 阶 AR 过 程 u(n) 
u(n) = ujn — 1} — OSu(n — 2) + rin) 
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10. 


1i. 


13. 


14. 


15. 


HP y(n) AERA ABA 0.5 KARM, 

(a) Sib A CA -IK eA 

(b) Ot A ABS PRL r DA (2) ,求解 这 两 个 方 穆 。 

(c) cK um NË. 

FEER M 阶 AR 过 程 的 广义 平稳 随机 过 得 u(t rn)。 由 平均 功率 Py 和 AR 系数 al ,as， 
.ay 组 成 的 一 组 参数 与 自 相 关 序列 r(0) ,rt ,rt) 一 一 对 应 ,如 下 式 


{r{0Y, r{1), 7(2}, ... r( My} — 1 Py, ay, dan -- AM) 





证 明 该 命题 正确 。 


， 写 出 下 烈 两 个 随机 模型 的 转移 因数 : 


(a) 图 1.3 的 MA 模型 
(b) 图 1.4 BY ARMA 模型 
(e) 写 出 图 1.4 所 示 的 ARMA 模型 的 转移 函数 退化 为 (1) AR 模型 转移 函数 ;(2) MA 模型 
转移 函数 时 的 条 件 。 
考虑 由 如 下 差分 方程 描述 的 二 阶 MA 过 程 a(n) 
x{n) = v(m) + O.75e(n — 1) + O25p(n - 2) 
其 中 v(n) 是 方差 为 1 的 零 均 值 白 噪声 过 程 。 要 求 用 一 个 M Bt AR 过 程 wtn) 近 似 该 过 
程 。 对 于 下 列 阶 数 
(a) M =2 (bÐM=5 (c) M = 10 
W ERRE ,并 评价 所 得 结果 。 如 果 AR 过 程 wx(m) 要 与 MA 过 程 x(n) 精 确 等 价 , 则 Me 
WER? 
从 零 均 值 广义 平稳 随机 过 程 和 自 相关 第 阵 RIAM ES u BAB a w, 
的 FIR 滤波 器 。 这 个 冲 激 响 应 定义 了 权 同 量 w。 
(a) 证 明 滤 波 器 输出 的 平均 功率 为 wRw。 
(b) 车 滤波 器 输入 端的 随机 过 程 是 一 个 方差 为 a? 的 握 品 声 , 刘 (a) 中 的 结果 会 如 何 改 变 ? 
一 个 一 般 的 线性 复 值 过 程 定义 为 


ula} = 之 we —k) 


其 中 wa) 为 白 噪 声 ,六 为 复 系 数 。 证 明 下 列 命题 

(a) 如 果 y(n) 为 高 斯 过 程 , 则 uw(n) 也 为 高 斯 过 程 。 

(b 反之 ,如 果 x(n) 为 高 斯 过 程 , 则 y(n) 必 须 为 高 斯 过 程 。 

考虑 复数 高 斯 过 程 uln)o ula) = w , 用 高 斯 矩 分 解 理 论 ,证 明 下 列 等 式 : 

(a) E{(ufu;)'] = (Eee 

(b) Efl] = k1(E fle?) 

考虑 式 (1.113) 给 出 的 功率 谱 密 度 的 定义 。 这 个 方程 是 否 可 以 交换 求 极限 和 期 望 的 操作 ? 
证 明之 。 

在 推导 式 (1.126) 时 ,我 们 引用 了 概念 :如 果 一 个 广义 平稳 过 程 通过 线性 时 不 变 、 稳 定 的 滤 
波 器 , 则 滤波 器 输出 随机 过 程 也 是 广义 平稳 的 。 证 明 式 (1.126) 的 结果 是 下 式 的 一 个 特例 


68 á iE Ae ee RE 








nin m) = > Š i ak)r (nn — imo k) 


16. 在 求 式 (1.129) 中 泪 波 器 输出 的 均 方 值 时 假设 : 泪 泪 器 带宽 小 于 共 频 带 中 心 频率 。 对 于 白 
噪声 过 程 ,这 个 假设 对 获得 例 3 RE ERI PSG E o 
17. 方差 为 0.1 的 白 噪 声 加 到 带宽 为 1 Hz 的 离散 时 间 低 通 恋 波 器 ,该 过 程 为 实 值 。 
(a) 计算 泪 波 器 输出 的 方差 ; 
(b) 假设 输入 信和 上 与 为 高 斯 过 程 ,确定 号 波 器 输出 的 概率 密度 函数 。 
18. 实 值 平稳 随机 过 程 ua(n) 称 为 周期 性 的 ,如 果 它 的 相关 随 数 是 问 期 性 的 , 即 
rii) = Flutaju(n -| 
=r} + N) 
其 中 AN 为 周期 。 扩 展 r( 1 为 傅 里 时 级 数 


a; A 1 
Wl) = D Se exp(jter) i=0,1,..,N—-1 
=i 


其 中 
2ak 
a 
和 
N-i 
S, = D rU) expl-jle,) k=0,1,...,N—-—1 
E= 
BBR 
= 到 [此 


具体 化 了 离散 功率 谱 ，U, 为 复 随机 变量 , 它 定 义 为 


NI 
U, = Su(njexp(-jno,) k= 0,1,...,N —1 
rl} 


1 N 
ufr) seria SU 2 jno] n=01,.. N-1 


(a) 证 明 频 谱 抽样 Uo, Usoa Uy- 互 不 相关 , 即 证 明 
三 [本 DY = 让 a 
(b) 假设 u(n), AW U 是 高 斯 分 布 的 ,证 明 Uo, Uis.. Uy PR a EAA H F 
式 给 出 
foley, Uy = exp (2 > ue; 

19, EH dZ (w) l 的 期 望 具有 功率 的 物理 意义 ,其 中 dZ(o) 为 增 量 讨 程 。 
0. 证 明 高 斯 过 程 的 三 阶 及 更 高 阶 暴 积 量 部 为 0。 
21. 给 出 平稳 随机 过 程 uln) 的 三 谱 CCo ,as ,os) 的 物理 解释 。 假 设 u(n) 为 实 值 。 
22, 考虑 转移 函数 为 H(z) 的 线性 时 不 变 系 统 。 系 统 被 具有 和 零 均 值 .方差 为 1 的 独立 等 分 布 

(i.i.d) 随 机 塞 量 组 成 的 实 值 序列 xfm) 激 励 。z(m) 的 概率 分 布 是 非 对 称 的 。 


ns, ) 
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(a) RHA we NSO RRA. 
(b) 证 明 wu(n) 的 双 谱 的 相位 分 量 与 转移 水 数 H AARRE ST HEA 
arg[C3(ay, ah = arg|it{e/*) | + arg| H{e")] 一 arg| {em =)] 
23, 式 (1.150) 给 出 了 症 激 响应 为 h, 的 线性 时 不 变 系统 的 输出 的 并 阶 累积 量 , 该 系统 由 ji.d.d 
随机 变量 组 成 的 序列 xftn) 激 励 , 试 推导 该 等 式 。 
24. 对 于 广义 循环 平稳 随机 过 程 xfn) ,证 明 循 环 自 相 关 耳 数 (4) 满 足 如 下 性 质 
r(—k} = rk) 
其 中 * Ran BEE 
25. 图 1.16 撒 述 了 广义 循环 平稳 过 程 utn) 的 谱 相 关 密 度 的 测量 方法 。 证 朋 当 a =0 时 ， 
图 1.16 可 简化 为 为 图 1.13 的 形式 。 


第 2 章 AEA IE DS an 


有 了 第 1 SOP ROLE SO PE ET EO PEP eR AE B ok EAE RE — 
HERR. Rea, AARNA RA RT AE ae, BTA AE SN Wiener) 1E Raro AEA IE 
ARLE FR FE PAR Sa A em PT AR ES a A Ae RL. RA SAB EA A 
原因 是 ,在 大 量 实际 应 用 中 (如 道 信 .雷达 OA) ,许多 应 用 都 是 以 基带 形式 给 出 的 。 正 如 第 
1 章 所 述 , 基 带 用 来 表示 由 信息 源 传递 的 原始 信号 所 占 册 的 频带 。 实 值 时 间 序 列 理所当然 地 
可 看 做 复 值 理论 的 一 个 特例 。 下 面 ,我 们 首先 将 概述 线性 最 优 滤波 问题 ,以 便 为 后 续 的 维 纳 滤 
波 理论 及 其 变种 的 研究 措 建 平台 。 


2.1 线性 最 优 滤波 :问题 综述 


图 2.1 建立 了 线性 高 散 叶 间 滤 波 冉 的 方 框图 ,滤波 髓 的 输入 时 间 序 列 为 nu(0)， 
w(t1),,,, ,并 用 其 冲 激 响应 为 wo ,w, ,w;，.. .来 表征 该 滤波 器 。 面 且 在 某 些 离 散 时 刻 n ,滤波 
器 输出 为 y(n)。 这 个 输出 信号 用 来 产生 期 望 响 应 的 估 值 4(n)。 由 于 滤波 涡 的 输入 信号 和 期 
望 响 应 表示 各 自 随机 过 程 的 实现 ,使 得 估计 通常 带 有 其 自身 统计 特性 的 误差 etn)。 在 实际 
中 ,估计 误差 是 用 期 望 响应 d(n) 与 滤波 器 输出 y(n) 之 差 来 表示 。 其 要 求 的 就 是 在 某 种 统计 
意义 上 使 估计 误差 尽 可 能 小 。 














给 定 输入 样 值 和 小 谈 器 系数 nS fe 
—— 
输入 输出 输出 响应 
. 线性 离散 
ea, a TZN ERES yin) - An) 
Wp HY Wh, --- 7 
估计 误差 


ein) 
图 2.1 统计 滤波 问题 示意 框图 


这 里 ,滤波 器 需要 有 两 个 约束 条 件 : 


1) 滤波 器 是 线性 的 ,使 得 数学 分 析 容易 进行 ; 

2) 滤波 器 是 离散 时 间 的 ,使 得 它 可 用 数字 硬件 或 软件 来 实现 。 

滤波 器 具体 实现 还 依赖 于 另外 两 个 选择 

1) 泪 波 器 的 冲 激 响应 的 选择 问题 (是 选择 月 限 冲 激 响 应 ,还 是 无 限 冲 注 啊 应 ); 

2) 统计 优化 准则 的 选择 问题 。 

ese Ag BRK eae Og (FIR, finite-duration impulse response) 或 者 无 限 长 冲 激 响应 (1R.infi- 
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nite-duration impulse response) 最 饮 于 实际 应 用 局 合 ;滤波 器 设计 中 选用 哪 种 优化 统计 准则 则 与 
数学 处 理 的 难 易 程度 有 有关 。 以 下 我 们 依次 探 过 这 上 帅 个 问题 . 

我 们 从 考虑 IR 滤波 器 天 六 并 述 维 纳 滤 被 理论 , 这样 可 以 将 FR 滤波 髓 看 做 它 的 一 个 特 
例 。 然 而 ,本 章 大 部 分 内 容 的 措 述 以 及 本 书 的 后 续 部 分 中 ,我们 主要 集中 讨论 FIR PRA. a 
基因 为 FIR 滤波 器 结构 中 典 几 到 前 向 路 答 而 使 其 员 有 固有 的 稳定 性 。 换 各 话说 ,FIR 滤波 器 
中 输入 输出 相互 作用 的 惟 . 方式 是 通过 滤波 须 从 输入 到 输出 的 前 向 路 径 完 成 的 。 实 际 上 ,这 
种 信号 传输 方式 使 滤波 器 的 冲 汶 啊 应 限制 为 有 限 长 讼 ,而 HR RR A oT A od A 
路 径 , 反 局 路 径 意 味 着 有 一 部 分 不 波 超 的 输出 和 其 他 可 能 的 中 间 变 苇 要 反馈 到 输入 端 。 其 结 
果 是 ,除非 经 过 合 埋 的 设计 , 滤 被 器 的 及 局 会 使 输出 结果 不 稳定 , 芯 至 导 教 滤波 器 发 生 振荡 。 
这 种 现象 在 - . 些 要 求 “ 必 须 "保证 稳定 性 的 场合 是 不 能 接受 的 。 尽 管 JE 滤波 器 的 稳定 性 问题 
本 身 症 理 论 上 和 实际 中 都 是 是 以 驾驶 的 ,人 得当 滤波 占 需 要 自 送 应 时 ,同时 包含 自 拓 应 和 反馈 
(IR 滤波 器 固有 的 ) 所 带 米 的 稳定 性 问题 已 成 为 一 个 十 分 难处 理 的 难 古 。 下 是 由 于 这 个 原因 ， 
在 大 部 分 需要 自 适应 的 滤波 应 用 中 ,FIR SR AACE IR 滤波 器 ,即使 后 者 需要 很 少 的 计 
算 要 求 也 是 如 此 。 

下 面 转向 考虑 第 二 个 问题 :统计 优化 准则 的 选择 疝 题 。 各 种 准 由 都 有 其 自身 的 适用 场合 。 
在 滤波 器 优化 设计 中 ,可 以 考虑 采用 某 种 最 小 代价 函数 或 首 某 个 性 能 指标 来 衡 明 ，- 般 有 下 列 
儿 种 选择 ; 

1) 估计 误差 的 均 方 值 ; 

2) 知 计 误差 绝对 值 期 望 值 ; 

3) 估计 误差 绝对 值 的 三 阶 或 高 阶 期 望 值 。 

选项 1 由 于 容易 进行 数学 处 理 而 优 于 其 他 两 个 选项 。 实 际 上 ,选择 均 方 误差 准则 导致 滤 
波 器 冲 激 响 应 未 知 系 数 代价 函数 的 二 航 相 关 性 {dependenece)。 而 瑟 ,该 代价 函数 有 一 个 独特 的 
最 小 值 能 惟一 地 定义 滤波 器 的 优化 统计 设计 ， 因 此 ,我 们 将 注意 力 集 中 于 均 方 误差 准则 。 

现 将 滤波 器 问题 的 本 质 表述 如 下 : 


给 定 一 人 给 入 取样 序列 00) ,2(1) ,wl2),…, 设 计 一 个 线性 离散 滤波 器 [其 输出 y(n) 提 

供 了 期 望 响应 d(n] 的 一 个 居 慎 ] ,使 得 其 估计 误差 的 均 方 值 e(n)[ 定 义 为 期 望 响应 din) 

与 实际 响应 y(n) 之 差 ] 为 最 小 。 

我 们 将 通过 两 种 完全 不 回 .互相 补充 的 方法 来 前 述 该 统计 优化 问题 的 数学 解决 方案 。 一 
种 方法 导致 一 个 重要 的 定理 (通常 称 为 正 交 性 原理 )。 另 一 个 方法 着 重 讲述 误差 性 能 曲面 , 它 
描述 了 以 滤波 器 系数 为 变量 的 代价 了 数 的 二 阶 相关 性。 下面 首 先 着 手 推 导 正 变性 原理 ,因为 
这 个 推导 过 程 相对 简单 , 且 意 义 重大 。 





2.2 正 交 性 原理 


再 看 如 图 2.1 所 示 的 随机 信号 滤波 问题 。 滤 波 宫 的 输入 用 时 间 序 列 w(0), w(1D) ,wt2),… 
表示 , 冲 激 响应 用 wo,w, , w;，… 表 示 , 设 它们 都 是 复 值 且 无 限 长 度 的 。n 时 刻 的 滤波 器 输出 为 
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yín) = un — k) n= 0,1,2,... (2.1) 


ABE RPRICG. TER, BM EW wi uln — k) ATR RR w, 与 滤波 器 输入 
u(r 一) 的 内 积 。 图 2.2 示 出 当 式 (2.1) 中 为 实数 据 时 计算 线性 离散 时 间 卷 积 的 步 又 。 


nik) 








0 1 2 4 a 5 k y — 3 4 
(a) BAN b) 滤波 器 输入 


un- WE 全 





ee BR Mr 
BT eR 





2 I ù 1 2 =o t 2 3 
te) BRERA RRA (d) n= m) a ae Be 
图 2.2 线性 卷 积 
图 2.1 的 证 波 器 的 目的 是 可 产生 一 个 期 望 响应 d(w) 的 估 值 , 设 滤 波 器 输 人 序列 和 期 望 响 
应 是 联合 广义 平稳 随机 过 程 , 且 均 值 为 零 。 如 果 均 值 不 为 零 , 则 依据 第 1.2 节 讲 的 预 处 理 ,在 
滤波 之 前 先 从 a(n) Al dt{n) 中 减 去 均值 , 舍 计 值 d(n) 自 然 带 有 误差 ,该 误差 定义 为 
e(n) = d{(n) — y(n) (2.2) 
估计 误差 e(n)FE— TRALEE IA. A TREERE Ee (nH) RB. 
PAH , E RY eR eR 
J = Ele(nje*(a)| 
= Elle(n)|"} 
其 中 表示 统计 期 望 运算 符 。 因 此 ,其 要 求 是 确定 使 了 获得 最 小 值 的 运行 条 件 。 
对 于 复 值 的 输入 数据 ,滤波 器 系数 通常 也 为 复 值 。 设 第 个 滤波 器 系数 w 表示 为 实 部 与 
虚 部 形式 


(2.3) 


wy = ap + jbp k=0,1,2,... (2.4) 
相应 地 ,可 以 定义 一 个 梯度 算 了 ,其 中 第 个 元 来 可 写成 实 部 a, MER b, 的 一 阶 信 微 分 形式 
cae em ee eee (2.5) 


v, = -一 
i day ab; 


因此 ,将 算 子 了 用 于 代价 函数 了 ,得 到 一 个 多 维 复 值 梯度 向 量 YJ ,其 中 第 天 个 元 束 为 
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Vid = 一 一 十 了 -一 一 k =0.1,2,... 
t k d k (2.6) 


式 {2.6) 表 明 实 系数 函数 梯度 可 以 自然 扩展 应 用 和 到 复 系数 国 数 的 下 一 般 情况 灾 。 注 意 式 (2.6) 
中 复 梯度 的 定义 是 有 有 效 的 ,这 里 重要 的 总 /为 实数 。 梯 度 算 子 往往 用 来 村 找 所 感 兴趣 的 代价 
隧 数 的 稳定 点 。 复 数 约束 可 以 转换 成 一 对 实数 约束 。 在 式 (2.6) 中 ,一 对 实数 约束 可 通过 将 
YJ 的 实 部 和 庶 部 都 置 为 鹤 来 获得 。 
AT MAB ER 中 得 到 其 最 小 值 ,梯度 向 量 VJ 的 所 有 元 束 必 须 同时 都 等 于 誉 , 即 
VJ =0 & = 0,1,2,... (2.7) 


在 这 组 约束 条 件 下 RUE TR BP RE. 
依据 式 (2.3) ,代价 函数 将 是 独 六 于 时 间 的 标量 。 因 此 ,将 式 (2.3) 的 第 一 个 式 子 代 人 

式 (2.6) ,得 到 

de(n) de*(n) defn) de*(t) 


*(n) + | ie*(n) + 
day (1) day eln) ab, ie (7) ab, 











Vid = 可 Po| (2.8) 


由 式 人 2,2) 和 式 (2.4), 可 以 得 到 4 个 偏 微分 
ðe(a) 








a = u(n = k) 
— = jun ~k) (2.9) 
aten = -u*(n — k) 
Ej — k) 
将 这 些 偏 微分 代 人 式 (2.8) ,整理 得 到 
Ved = -2E[u(n — ker(n)] (2.10) 


现在 我 们 准备 求 使 代价 函数 了 最 小 时 所 要 求 的 工作 条 件 。 设 e 表示 滤波 器 工作 在 最 优 
条 件 下 估计 误差 的 特定 值 , 则 式 (2.7) 中 规定 的 条 件 等 效 为 
Elu(n — k}e*(n)| = 0 k =0,1,2,... (2.41) 
总 之 ,对 式 (2.1t) 可 做 如 下 表述 : 
使 代价 函数 获得 最 小 值 的 充 要 亲 件 是 其 对 应 的 估计 误差 e,(n) 征 交 于 n 时 刻 进 入 期 户 
响应 估计 的 每 个 输入 样 值 。 





个 ”梯度 的 概念 常用 在 关于 最 优化 的 著作 中 (例如 ,Domy,1975)。 对 于 复数 情 贞 ,在 Widow 93 (19750) Monzingo 和 
Miller(1980) 著 述 中 有 讨论 。 
注意 ,对 于 复数 数据 这 个 更 一 般 的 情况 ,代价 责 教 ! 不 是 解析 函数 (见习 题 1)。 因 此 , 伐 价 函数 7 了 相对 于 滤波 器 系 
Ku, 的 导数 要 特别 注意 。 这 个 问题 的 讨论 在 附录 B 中 ,那里 我 们 也 讨论 了 梯度 概念 与 复 系 数 时 数 之 间 的 关系 。 

岛 ” 注意 ,在 式 (2.7) 中 ,我 们 已 经 假设 稳定 点 的 最 优 性 。 在 线性 滤波 问题 中 ,由 于 误差 性 能 曲面 的 一 次 特性 ( 见 第 2.5 
节 ), 求 出 的 稳定 点 一 定 是 全 局 最 优 的 。 
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实际 .上 ,这 段 表 述 构成 正人 交 性 原理 。 它 是 线性 优化 滤波 理论 中 的 最 重要 原理 之 一 ,也 为 验 
证 线性 滤波 器 是 再 工作 于 最 优 状 态 提 供 了 数学 基础 。 


2.2.1 正 交 原理 推论 


当 考 虑 滤波 器 输出 信号 yfn) 与 估计 误差 et nw) 之 问 的 相关 特性 时 ,可 以 得 到 正 交 原理 的 
推论。 利用 式 (2.1), 可 以 将 由 关 蚂 数 表 示 为 
El y(nje*(n}] = el S wtu(n 一 Kenta) | 
= bao (2.12) 
= 2 wk Efu(n 一 kje*(n)] 


& y,(n) 表 示 在 均 方 误差 最 优 意 义 下 滤波 器 的 输出 ,而 e,(n) 表 示 响 应 的 知 计 误差 。 因 


此 ,利用 式 (2.11) 描 述 的 正 变性 诛 理 ,可 得 如 下 站 果 
Ely,(es(n}] = 0 (2.13) 
由 此 ,我 们 可 以 得 到 正 交 性 原理 的 推论 ;: 
当 滤 波 器 工作 于 最 优 条 件 下 ,期 望 响 应 的 估 值 用 滤波 器 的 输出 y(n) 表 示 , 相 应 前 合计 误 
差 a,(n) 与 它们 相互 正 交 。 
ANU ) 表 示 在 均 方 误差 意义 下 最 优 的 期 望 响应 的 信 值 ,给 定 输入 信号 直到 时 齐 n 
{包括 DERE HU, OA 
d(n|%,) = y(n) (2.14) 
注意 , 估 值 in 开具 有 零 均 值 ,因为 其 抽 头 的 输 人 是 设 为 零 均 值 的 。 这 个 条 件 也 符合 期 户 
响应 ga ) 为 零 均 值 的 假设 。 
2.2.2 正 交 原理 推论 的 几何 解释 
式 人 42.13) 提 供 了 一 个 存在 于 最 优 滤波 器 输出 端 最 优 条 件 的 有 趣 的 几何 解释 ,如 图 2.3 所 示 。 
图 中 ,期 望 响应 .滤波 器 的 输出 以 及 响应 的 估计 误差 分 别 用 向 量 dy e RR, yae, 中 的 下 标 o 
表示 优化 条 件 的 时 刻 。 可 以 看 出 ,对 于 最 优 滤波 器 ,估计 误差 向 量 垂直 ( 正 交 ) 于 滤波 器 输出 向 量 


的 。 需 要 强调 的 是 ,图 2.3 播 述 的 状态 只 是 一 个 比拟 ,此 处 随机 变量 和 期 望 分 别 用 风量 和 向 量 内 
积 代 替 。 同 样 地 ,为 了 便于 观察 ,几何 描述 图 可 被 看 做 是 统计 学 的 毕 达 哥 拉 斯 (Pythagorean) 定 理 。 


| 
由 7, 


2.3 期望 响应 ,滤波 器 输出 估 值 和 估计 误差 之 闻 关 系 的 几何 表示 





四 “如 果 室 间 号 ,由 随 机 变量 上 ,wo yoy ae, 全 体 级 性 组 合 而 成 ,就 说 这 些 随 机 变量 张 成 该 特 跌 空 间 。 换 守之 , 纪 ，, 中 每 
TURRET ARA uti = 1,2,…,n) 的 某 种 组 合 
H = DHUA ous F wia 


其 中 wy, wy. w, WENES REDO, 是 有 限 维 的 。 
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2.3 最 小 均 方 误差 


线性 离散 时 间 滤 波 咒 如 图 2.1 所 示 。 当 达到 最 优 时 , 式 (2.2) 可 以 写成 以 下 形式 
en) = dor) — y(n) 


= d{n) — d(nid,) (2.15) 
式 中 第 二 行 , 我 们 利用 了 式 (2.14)。 重 新 安排 式 (2.15) ,有 
din) = d(n|U,) + eln) (2.16) 
邻 
dain = Ellen] (2.17) 


表示 最 小 均 方 误差 ,对 式 (2.16) 两 边 同 时 取 均 方 值 ,并 应 用 式 (2.13) 和 式 (2.,14) 表 示 的 正 交 原 
理 推论 ,可 得 

r 一 o; + nin (2,18) 
其 中 o 是 期 望 响应 的 方差 ,克基 人 和 值 4(n 并,) 的 方差 ;它们 都 假设 为 零 均值 。 依 据 最 小 均 方 
误差 准则 求解 式 (2.18) ,得 到 

Join = 0 - 0% (2.19) 
这 个 关系 式 表明 ,对 于 最 优 滤波 器 ,最 小 均 方 误差 等 于 期 望 啊 应 方差 与 滤波 器 输出 估 值 方差 的 
差 值 。 

通过 将 均 方 误差 的 最 小 值 限 定 在 0 与 1 之 间 , 可 以 方便 地 将 式 (2.19) 归 一 化 。 有 具体 做 法 

是 ,将 式 {2.19) 两 边 同 时 除 以 吕 ,从 而 得 到 


(2.20) 





因为 除非 出 现 期 望 响应 dln) 均 为 堆 这 种 极为 罕见 的 情况 ,一 般 cs 为 非 党 ,所 以 上 式 显 然 成 


Wo MEF 
fin 
ET 2 (2.21) 


rå 


其 中 e 称 为 归 一 化 均 方 误差 。 因 此 式 (2,20) 可 以 写成 如 下 形式 
2 
2-1-4 (2.22) 
ri 


应 注意 到 :(1) 比 率 e 非 负 ;(2} 比 率 oi 蕊 是 正 数 ,因此 有 
gesl (2.23) 


如 果 * 等 于 0, 最 优 滤 波 器 工作 在 理想 状态 下 ,此 时 滤波 器 输出 估 值 d Cn U, ) Se 
d(n) 完 全 一 致 。 相 反 , 如 果 s 等 于 1, 二 者 很 不 一 致 .这 对 应 于 最 坏 的 可 能 情况 。 
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2.4 维 纳 - 霍 夫 方程 


式 (2.11) 撒 述 的 正 交 性 原理 是 最 优 滤 波 器 的 充 要 和 条件， 车 将 式 (2.1) 与 式 {2.,2) 代 入 式 
(2.11) ,可 以 得 到 另 一 个 充 要 条 储 


E| u(n = ‘(art E Si waun 一 D) 一 站 k = 0,1,2,... 
其 中 w EME i A PR TAB 
D MiElu(n — k)u*(a — i)] = Elu(n ~ k)a*(n)] k=O 12, (2.24) 
式 (2.24) 中 的 两 个 期 望 解释 如 下 : 
1) HA Ef wln -ia (n - DATHA 2 EIR RR AA WY AA ee, B 
rik) = Elu(n 一 k\u*(ni 一 i] (2.25) 
2) 期 望 Eluln -bd (nn) 等 于 滤波 器 输入 utn - kb) SIAM & an) 相隔 - k PIER 


AAHH, Ep 
p(-k) = Elu(n — kj}d*(n)] (2.26) 
因此 ,利用 式 (2.24) 中 式 (2.25) 与 式 (2.26) 的 定义 ,得 到 最 优 滤波 器 的 另 一 个 充 要 和 条件, 即 
Š warli — k) = pl) k =0,1,2,... (2.27) 


式 (2.27) BR RE Ae RR BY RR A HR A 
4 AF) EHS PK, aAA EE A Se AK RE, TRH 
H- FE ( Wiener-Hopf) ARO, 


2.4.1 线性 横向 滤波 器 的 维 纳 - 霍 夫 方 程 解 


当 线性 横 凋 滤波 器 或 者 FIR 滤波 器 用 于 攻取 图 2.1 中 期 望 嘛 应 d(C) AT, EA- ER 
方程 的 求解 将 大 大 简化 。 现 考虑 图 2.4 的 横向 滤波 器 结构 。 该 滤波 器 包括 三 种 基本 运算 : 存 
储 、 相 乘 . 相 加 。 有 具体 描述 如 下 : 

1) 存 情 可 用 M -1 个 单 样 值 焉 迟 即 延 述 单元 的 级 联 来 表示 ,图 中 每 个 延迟 单元 标识 为 
2. 我 们 把 各 延迟 单元 被 接 入 的 点 称 为 抽 头 点 。 每 个 抽 头 的 输入 为 at) ,uln 一 1)， 
,n+1)。 因 此 , 当 将 zfn) 看 做 滤波 器 输入 的 当前 值 时 ,其余 好 ~ 1 个 抽 头 输 
入 aaa-1 ,wn 一 可 +1) 都 称 为 滤波 器 输入 的 过 去 值 。 

2) WERA Cn) ,tn 一 了] 了), 一 ,wln 一 前 +1) 与 拍 头 权 值 wowor ey HARA 


DD” 为 了 从 维 纳 - 寺 夫 方程 (2.27) 冰 解 出 最 优 滤 波 蔡 系数 ,需要 应 用 称 为 谱 分 解 的 特 原 技术 。 对 于 这 个 技术 的 描述 以 点 
如 何 用 它 求 解 维 纳 - 才 夫 方 程 (2,27), 感 兴趣 的 读者 可 参考 Haykint 1989a) 。 
还 应 该 注意 到 , 原 米 由 Wiener 和 Hopf (1931) 系统 阐述 的 线性 最 优 滤波 器 方程 是 用 于 连续 时 间 滤 波 器 的 ,而 式 
人 2.27) 所 述 系 统 是 表述 离散 时 间 泪 滤器 的 。 
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AF RAL SPR RR w 等 表示 的 x(n) 和 wo 的 标量 内 积 形成 的 ， 
对 其 他 内 积 也 是 如 此 。 
D 加 法 器 的 作用 是 将 乘法 器 的 输出 相 如 ,形成 一 个 总 的 滤波 器 输出 。 


ula AfI)) 





图 2.4 横向 滤波 器 


图 2.4 所 示 的 横向 滤波 器 冲 激 响应 是 用 一 系列 有 限 抽 头 权 值 wos ys ww 表示 的 ,内 
此 , 式 (2.27) 的 维 纳 - 霍 夫 方程 变 成 M 个 线性 方程 组 


Sori ~ k) = p(-k) k=0,1,..., M-i (2.28) 
i 
FO wo ;ti ，…; 志 ,w-!1 是 滤波 器 抽 头 权 值 的 最 优 值 。 


2.4.2 维 纳 - 翟 夫 方 程 的 矩阵 形式 


S RR 表示 图 2.4 横 向 滤波 器 中 抽 头 输入 w(n) ,wn 一 1),… ,u(tn 一 衣 +1) 组 成 的 Mx 
相关 矩阵 , 即 


R = Elu(njw"(n)| (2.29) 
其 中 
u(n) = [u(n),u(n —1},...,.u(n — M +1) (2.30) 
Mx I 的 抽 头 输入 向 量 。 以 展开 的 形式 ,相关 矩阵 R 可 表示 为 
r(0) r(1) (ad -1) 
R -= |) r(0) M2 (2.31) 


M1) “M —2) a. (0) 


相应 地 , 令 p 为 王波 器 抽 头 输 人 与 期 望 响 应 dCn) 的 M xl 的 互相 关 癌 量 
p = E[u(n)d*(n)| (2.32) 
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É iE aet S Pe 
其 展开 形式 为 


p = [p(0),p( 1)... pll 


T 


M) | 
EE p EXE PRIE YE RMA ERO DREN- ERRER RE EEE 


(2.33) 
Rw, =p 
其 中 w, Ra EA Re CL Be R ESS) M x 1 FSR A eet, BY 


(2.34) 
— T 
Ww, [Wp Wot Wa, wil 
一 ,得 


(2.35) 
MERKER R ASE ape YT AAR (2.34) ow, AE, (234) RRA A RL 
w, = Rp (2.36) 
BPA OR w, HIB Ae eA PES CS A Tl bt n(n) PASE EE R; (2) BSR 
输入 向 量 ma) 与 期 望 响应 d(xn) 的 互相 关 | 各 其 p。 
2.5 误差 性 能 曲面 


前 几 节 导出 的 式 (2.34) 的 维 纳 - 霍 夫 方 程 源 于 第 2.2 节 讲 述 的 正 交 性 原理 。 我 们 也 可 以 
从 图 2.4 的 横向 滤波 器 的 抽 头 权 值 的 代价 函数 了 的 关系 式 中 导出 维 纳 -省 夫 方 程 。 首 先 , 将 佑 
计 误 差 e(n) SR 


e(n) = 一 Swtutn — k) 
i 
式 中 d(n) 是 期 望 响 应 ,wo ,wl os wy ENE A AL, un 
是 相应 的 抽 头 输入 。 因 此 ,我 们 定义 图 2.4 的 模 向 滤波 右 的 代价 函数 为 
T= 本 De 


ld 


(2.37) 
),u(n-1) 


wutn-M+1) 
M— 
dimi] - PELE (n — k)d*(n}] 一 Su Elu*(n — k)d(n)] 
-1 M-I 
+ wy w,Elu(n — k)u*(a — i)| 
k=il £ 
我 们 看 出 ,上 式 第 二 行 右边 的 四 个 期 望 为 


(2.38) 
| Als 
1) 对 于 第 一 个 期 望 , 有 


a} = E|] 
式 中 o WHA dn) MAS AEAF 
2) 对 于 第 二 个 和 第 三 个 期 望 ,分 别 有 


(2,39) 
All 


p(-k) = Elu(n — kjd*(n)] 


(2.40) 
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pt(-k) = Elu*(n — k)d(n)] (2.41) 
式 中 p( - k ERRIA u(n- b) RAA d(n) 的 互相 关 。 
3) 最 后 ,对 于 第 四 个 期 望 ,有 
rli — k) = Elu(n — kju*(n — i)l (2.42) 
IUP rli- kE 主 -天 个 点 的 抽 头 输 人 自 相 头 函 数 。 
因此 ,可 把 式 (2.38) 写 成 


好 -1 M-I M1 Mol 
J =o- Swhp(-k) — Sempt(-k) + X D wwrli - k) (2.43) 
k=0 k=O k=O ist 
式 (2.43) 表 明 , 当 横向 滤波 器 的 扯 头 输 人 与 期 望 响应 是 联合 平稳 时 ,其 代价 函数 或 者 均 方 
RE 7 正 是 滤波 器 抽 涉 权 值 的 二 次 函数 。 因 此 ,可 以 将 了 与 手头 权 值 ea, mi oy 1 ZI 
依赖 关系 想像 为 (村 + 1) 维 达 状 曲面 。 该 曲面 具有 几 滤 小 器 抽 涉 权 值 所 表示 的 好 个 自由 度 ， 
且 有 惟一 的 最 小 值 。 显 然 , 可 将 该 曲面 当做 描述 图 2,4 横 向 滤波 髓 的 误差 性 能 表面 。 
在 误差 性 能 表面 的 兢 底 或 极 小 点 处 ,代价 函数 / 获得 其 最 小 值 ,表示 为 Jono TERS, 
梯度 向 量 VJ 等 于 零 BM 
VJ =0 k=0,1,..., M-11 (2.44) 


其 中 VI 是 梯度 向 量 的 第 & 个 元 素 。 把 第 上 个 抽 涉 权 值 号 为 


Wr = dy + jbg 


因此 ,利用 式 (2.43) ,可 以 将 Vy 写 为 


oa, ab, 

M-1 (2.45) 

= —2p(-k) + 2$ wr(i — k) 
rath 


将 式 (2.44) 的 充 要 条 件 用 于 优化 式 {2.45) ,我 们 发 现 图 2.4 RY RS A wo 
Wes 2 满足 如 下 方程 


M=1 
ŞS worl(i- k) = p(-k) k= 0,1,...,M 71 
i=0 


这 个 方程 即 第 2.4 节 导 出 的 维 纳 - 霍 夫 方 程 (2.28)。 
2.5.1 最 小 均 方 误差 


令 a(n IU, ) 表 示 期 望 响应 dn) 的 估 值 ,该 期 望 响应 是 在 均 方 误差 意义 上 最 优化 图 2.4 
横向 滤波 器 所 产生 的 输出 。 滤 波 咒 输入 ufn) ,wfn 一 1),… ,wn M+ KRY, ,从 图 
中 可 以 推出 

d(n|%U,,) See — k) 
k=) 


(2.46) 


= win(n) 


BO Hi MARR EE 


式 中 w, 是 最 优 滤波 器 的 抽 头 权 向 量 ,其 儿 素 为 wy; Wao Woy) Un) Beh (2.30) ae 

的 抽 头 输入 向 量 。 注 意 whan) ARRAS ow, 和 和 抽 头 输入 向 量 n(n) 的 内 积 。 设 

ul(n) 是 零 均值 的 , 它 使 估 值 2(n U ) 也 是 零 均 值 的 。 用 式 (2.46) 来 估算 a(n UL, ) 的 方 益 , 得 
o; = Elw afmja2fajwo] 


= wi Efufu nn) |w, (2.47) 





— wil 
= w, Rw, 


其 中 R Jerk (2.29) 72 HS on) A A, (2. 34 RT RE of 
对 优化 拍 头 权 向 基 w, RSE AR RPAH TEROITTAA 





{2.48) 


为 了 计算 由 图 2.4 中 横向 滤波 占 产 生 的 最 小 均 方 误差 ,将 式 (2.47) 或 式 (2.48) 代 入 式 
{2,19) ,得 到 
Jmn = ri ~~ wi} Rw, 
= 0% — pw, (2.49) 
= o} 一 BR 
这 就 是 所 要 的 结果 。 
2.5.2 误差 性 能 曲面 的 规范 形式 
式 (2,43) 定 义 了 图 2.4 中 横向 滤波 器 所 产生 的 均 方 误差 J 的 展开 形式 。 分别 利用 式 
(2.31) 和 式 (2.33) 弟 出 的 相关 矩阵 及 和 互相 关 间 和 量 P 的 定义 ,可 以 把 式 (2.43} 重 写 出 为 
J(w) =o} -— wip - p"w + w' Rw (2.50) 
其 中 , 均 方 误差 写成 Jw TRAE EAM w 的 函数 。 第 1 RMR 
是 非 奇 异 的 , 即 它 的 逆 阵 RR”! 总 存在 。 因 此 ,可 以 把 式 (2.0}) 写 成 如 下 形式 
J(w) = a} —pR'p+(w— Rp) Rw— Rp) (2.51) 
从 上 式 可 以 立刻 得 到 
min J(w) =o4i-—p"R'p 
此 时 ， 
wo 一 及 下 
实际 上 ,从 式 (2.50) 出 发 ,我 们 以 相当 简单 的 方法 重新 导出 了 维 纳 滤 波 器 。 此 外 ,我 们 可 利用 
维 纳 滤波 器 的 这 个 定义 式 写 出 
I(w) = Jain + (w ~ wY R(w = w) (2.52) 
这 个 方程 式 表 明 , 抽 头 权 向 量 惟一 的 最 优 解 为 Ww, ,因为 这 时 Cw, ) = Jana 
尽管 式 (2.52) 右 边 的 二 次 型 表达 式 售 有 丰富 的 物理 意义 ,但 还 是 有 必要 通过 改变 基底 使 
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误差 性 能 曲面 的 表达 式 简 单 化 。 为 此 ,利用 特征 分 解 并 按照 其 特征 值 科 特 往 向量 把 抽 尖 输入 
向 量 的 相关 逢 阵 及 表示 为 

R = QAQ” (2.53) 
其 中 凡是 一 个 包含 相关 矩阵 特征 值 1 ,4;,… ,Ny OT ABE RE Q 的 列 基 与 特征 值 有 关 的 特 
TE (UE qh ody ot Gace 将 式 (2.53) 代 入 式 (2.52) ,得 到 


J = Jan + (w — w) QAQ” w — w,) (2.54) 

如 果 令 最 优 解 w, 与 抽 闫 权 向 量 w 之 差 的 变换 形式 为 
v= Q"(w, ~ w) (2.55) 

TURE (2.54) 0 RATER A Ee BS SPE ok ni 
J = Jun + v7AV (2.56) 


IPAS AEM FET YH tae BIA 


M 
J = Fin + SM Ayu, vt 
k=l 
M (2.57) 
= Jain 十 S Agee? 
k=1 


其 中 n 是 向 量 Y 的 第 大 个 元 素 , 它 使 式 (42.57) 所 表达 的 误差 性 能 曲面 的 规范 形式 变 得 非常 有 
用 ,因为 变换 后 的 系数 向 量 * 的 元 素 构 成 了 曲面 的 主轴 。 这 个 结果 的 实际 意义 将 在 后 续 章 节 
中 看 到 。 


2.6 ”多重 线性 回归 模型 


式 (2.49) 定 义 的 维 纳 滤波 器 的 最 小 均 方 误差 fu 是 用 于 长 度 规定 ( 即 规 定 抽 头 加 权 数 ) 的 
横向 滤波 器 结构 。 若 横向 滤波 器 长 度 可 调 而 且 将 其 作为 设计 参数 ,如 何 将 J.., 降 到 不 可 能 再 
降 的 程度 呢 ? 显然 ,应 该 从 描述 期 望 响应 4(n) 与 输入 向 量 u(n) 之 闻 关 系 的 模型 来 寻找 答案 。 

为 回答 这 个 基础 性 问题 ,做 以 下 三 个 合理 的 假设 : 

1) 模型 是 线性 的 ; 

2) 可 观测 (可 测量 ) 数 据 是 受 噪声 影响 的 ; 

3) 噪声 是 加 人 性 白 品 声 。 


图 2.5 给 出 符合 这 三 个 假设 的 模型 。 这 个 模型 称 为 多 重 线 性 回归 模型 , 它 基 于 如 下 公式 
( Weisberg, 1980) 





d(n) = a%u,,(n) + e(n) (2.58) 
式 中 a BRAS eo, (AA TR ESS ve RET Fu, Ca 
MEHRA; S a 也 称 为 回归 向 量 。 只 要 研究 的 随机 环境 是 线性 的 且 模 型 的 阶 数 足够 大 ,响应 
u, (n AYA) PRE 2( ne) ARPES ER LARUE CA HER (2.58 TR, Bea 
a flu, (oE m HE. BE? 表示 噪声 v(n) 的 方差 , 则 提供 期 望 响应 的 可 测 数 据 dn AA 
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a} = Eld(njd*(n)] 
=o ta'R a (2.59) 
其 中 
R,, = Elu,,(2)uy(n) (2.60) 


是 输入 向 量 的 mx m 相关 矩阵 。 


a 


vin} 
图 2.5 多 重 线性 回归 模型 
现在 考 虚 一 个 维 纳 滤波 器 ,其 输入 同 明 为 un), WEWN din), POE ep ET Re 
为 J ( 订 ), 且 可 通过 改变 滤波 器 的 长 度 MRE. HAD Bon SHAW 
w, 都 是 时 xl 的 向 量 。 将 式 (2.59) 代 入 式 (2.49) 的 第 - - 行 ,得 到 
Toil M ) z= o7 + (a” Ra E wW Rw,) (2,61) 
式 中 惟一 可 调 项 为 wiRw, ,是 一 个 二 次 型 。 选 择 模 型 可 以 有 三 种 旋 式 ;: 
(1) 多 氢 合 模 型 {underiitted model): M < m 
这 种 类 型 中 ,对 于 给 定 的 m, 随 着 时 的 提高 , 维 纳 滤波 器 的 性 能 也 提高 。 从 最 坏 的 情 
况 出 发 ,最 小 均 方 误差 也 可 能 以 滤波 器 长 讼 M 的 二 次 速率 下 噬 , 即 
Jma(O) = of + a" Rya (2.62) 
(2) FLAS LU (critically fined model): M = m 
在 临界 点 M = m, oS ee AL, A w, = a,R=R,。 相 应 地 , 维 纳 
契 波 器 的 最 小 均 方 误差 获 得 不 可 再 降 的 值 目 , 旦 定义 为 
Jan(0) = oF (2.63) 
(3) 过 拟 合 模型 (overfitted model): M > m 
当 维 纳 滤波 器 长 度 大 于 模型 阶 数 时 AR Sa a SA ed YO, BD 


| 
Wo 一 0 (2.64) 


相应 地 , 维 纳 滤波 器 抽 涉 输入 癌 量 为 
u(n) -| (7) l (2.65) 


Uy- ml) 





© 正如 这 里 所 述 的 ,* 不 可 再 降 误差 (iirodocible cms)" 不 同 于 最 优 滤波 中 所 用 的 术语 。 我 们 说 “不 可 再 降 误 营 ”, 意 指 
由 一 个 可 实现 的 离散 时 间 维 纳 泪 波 器 产生 的 最 优 怕 计 误差 ,该 小 武器 的 长 度 与 式 (2,58) 所 述 多 重 回 归 横 型 的 阶 数 
相 开 配 ， 另 一 方面 ,在 文献 中 (如 Thomas, 1969), “AR BY BER "这 个 术语 原来 称谓 不 可 实现 的 维 纳 滤波 器 ,该 滤波 器 是 
非 因果 的 ( 即 当 时 间 为 负数 时 ,其 脉 于 响应 并 不 为 输 }。 
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其 中 ,av (nie eM - m) x Li RB RR mxl E On) E 
HEERE. AG LI Tar a lth R RAA RRA MARDA RE 
HERE, HERRARTE. 

从 上 述 讨 论 可 以 明显 看 出 ,理想 的 设计 策略 是 使 维 纳 滤 波 句 长 度 M PRR m DE 
配 。 在 这 种 临界 情况 下 , 维 纳 证 涨 器 产生 的 估计 误差 mw (na) 是 方差 为 of 的 白 噪声 ,期 具有 式 
(2.58) 同 归 模 型 中 加 性 噪声 y(n ) 的 统计 特性 。 


2.7 示例 


为 了 解释 前 几 节 立 述 的 最 优 滤波 理论 , 考 虞 -个 固 归 模型 ,其 阶 数 于 =3, 参 数 回 量 表示 为 
a 一 [as a, al 
设 模型 为 实数 ,其 统计 特性 如 下 : 
(a) MAME mt n AAR 


Fh BER be ATE FY EB BS CIS TIERE. 
(b) 输 和 向量 uCn) 和 观测 数据 d(n) 的 互相 关 向 量 为 
p = [0.5272, ~0.4458, —0.1003, —0.0126]' 
其 中 ,第 4 个 模型 参数 a 等 子 零 ( 即 模型 阶 数 mm 等 于 3, 参见 习题 9)。 
Co) 观测 数据 的 方差 为 
a3 = 0.9486 
(d) 加 性 白 唉 声 的 方差 为 
g? = 0.1066 
要 求 做 三 件 事 : 
© 求 可 恋 长 度 分别 为 M = 1,2,3,4 的 维 纳 滤波 器 最 小 均 方 误差 Ju 的 方差 
@ 画 出 长 度 为 M =2 的 维 纳 滤 波 器 的 误差 性 能 曲面 ; 
计算 误差 性 能 曲面 的 规范 形式 。 
速 波 器 长 度 为 MM 时 最 小 均 方 误差 ,ww 的 方差 
模型 阶 数 M = 3 的 实 值 回归 模型 为 
d{n) = a,u(n} + aun — 1) + aujan — 2) + v(n) (2.66) 
其 中 a =0, 对 所 有 大 >3。 表 2.1 总 结 了 由 M=1,2,3,4 NRA M x1 最 优 抽 头 权 
向 量 和 最 小 均 方 误差 J,( 寿 ) 的 计算 结果 。 该 表 也 给 出 计算 式 (2.36) 和 式 (2.49) 所 需要 的 相 
ete R 和 互相 关 向 量 p 合适 的 值 。 
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表 2.1 可 变 长 麻 为 MORRER ES 
着 波 吕 长度 好 。 相关 矩阵 有 互相 关 向 量 p Sheers Shee 
sors Wo Jani M) 
1 [1.1] "0.52721 [0.4793 ] 0.6959 
1.1 0.5 0.5272 0.8360 
2 [os 11 Le a E Die 
1.1 0.5 0.1 0.5272 0.8719 
3 [os 1.1 o.s | -oss| | -0.9127 0. 1066 
0.1 0.5 1.1 -0.1003 0.2444 
1.1 0.5 Ol -0.05 0.5272 0.8719 
05 1.1 0.5 D.I - 0.4458 -0.9129 
4 | ob 05 Ll | E | i 0:1066 
-0.05 GE 05 1.1 -0.0126 0 





图 2.6 显 东 出 长 度 为 M ESA RR AR I Re jw 六) 的 方差 ,图 中 包含 了 对 应 于 
最 坏 可 能 情况 的 点 :时 = 0. S(O) = as ER SBR RE 六 从 1 变 到 ?时 ,最 小 均 方 误差 


ESTRE dml) 


a9 


d.s 





0.6 


0.5 


0.4 


0.3 


D2 





riya BE RE 好 
PA 2.6 Jal 于) 随 维 纳 证 该 器 长 度 的 变化 情况 
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误差 性 能 曲面 
当 滤 波 器 长 度 虹 =2 时 ,最 小 均 方 误 盖 与 2x1 抽 头 权 向 量 w 之 间 的 函数 关系 [根据 式 
(2.50) ] 为 


Ww 1.1 0.5 WwW 
J (to, w) = 0.9486 — 200.5272, -0.4458 | + 0 
(wo, 1) |" [1 w] 05 11 || w, 


图 2.7 是 以 抽 头 权 值 ws 和 w 为 变量 的 均 方 误差 J, w FER. 





图 2.7 两 抽 头 横向 滤波 路 误 差 性 能 曲面 


图 2.8 是 最 小 均 方 误差 了 变化 时 拥 头 权 值 wo Se, 的 等 高 线 图 。 由 图 可 见 , 对 于 固定 的 
J ,wo 与 wi 的 轨迹 是 一 个 椭 贺 ,椭圆 形 轨迹 随 着 逐渐 趋向 于 最 小 值 J 而 渐渐 收缩 。 当 
J= J 时 ,轨迹 收缩 成 一 个 点 ; w, 9 = 0.8360, w1 = -0,.7853, 即 最 优 抽 闫 权 向量 为 


E | eee | 
Wo = | _07853 (2.68) 
根据 式 (2. 和 9) ,得 最 小 均 方 误差 为 
Jan = 0.9486 — [0.5272 oaase] oe | 0.6) 


= 0.1579 
最 优 抽 头 权 向 量 w, = (0.8360, - 0.7853]? SRSA RE J... = 0.1979 的 联合 所 表示 的 点 确 
定 了 图 2.7 中 误差 性 能 曲面 的 底部 ,或 者 图 2.8 中 等 高 线 的 中 心 。 
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T Tor Tor T 





图 2.8 图 2.7 描 述 的 误差 性 能 曲面 的 等 高 线 图 


2.7.1 误差 性 能 曲面 规范 形式 的 计算 
为 了 进行 特征 值 分 析 ,首先 表示 2 x 2 相关 和 矩阵 


11 0.5 
R= 民 S| 
-à 05 
05 i11-A 


(1.1 — A} - (05) =0 
因此 ,相关 矩阵 R 的 两 个 特征 值 为 


的 特征 方程, 它 由 该 矩阵 的 行列 式 


给 出 , 即 


Ay = 1.6 Ad = 0.6 
根据 式 (2.57) ,规范 的 误差 性 能 曲面 定义 为 
Hm.) = Jain + 1.607 + 0.6 03 (2.70) 
对 于 某 一 固定 的 J- Jalin So, 的 轨迹 是 一 个 椭圆 。 实 际 . 土 , 这 个 椭圆 沿 vz, 方向 有 副 轴 





(三 全) ao ia (EA) sent a, >a 
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2.8 线性 约束 最 小 方差 滤波 器 


维 纳 滤波 带 的 本 质 蚌 使 估计 误差 {定义 为 期 组 网 应 与 滤波 器 实际 输出 之 差 ) 均 方 值 晤 小 
化 。 在 解决 这 个 最 优化 问题 时 ,没有 对 它 的 解 施 吉 任何 约 东 条件。 然而 ,在 一 些 滤波 应 用 中 ， 
人 们 希望 所 设计 的 滤波 器 在 一 定 约 来 条 件 下 使 岁 方 误差 最 小 化 。 例 如 ,要 求 最 小 化 线性 滤波 
器 的 平均 输出 功率 而 同时 约束 滤波 屁 在 一 些 特定 的 感 兴趣 频率 上 啊 应 保持 全 定 。 本 节 就 米 解 
决 这 类 问题 。 

考虑 图 2.9 BRA ER PERS DE SS. DEER AH gfpayatn-1 eul- M +1), H 
输出 为 


M-1 
y(n) = È whuln — k} (2.71) 
FERA- PR 
uin) = ef?" (2.72) 
可 以 将 式 (2.71) 写 为 
M-I 
y(n) =e" Y wie (2.73) 


k=0) 


AP, o 是 归 一 化 激励 角 频 率 ,而 和 式 是 滤波 器 的 频率 响应 。 


kin- Mtl} 





图 2.9 REEM 


现在 想 要 解决 的 约束 最 优化 问题 可 描述 如 下 : 
寻找 一 组 最 优 的 滤波 器 系数 wo We Wyn RATE SOF RE REE 


Mol 
S whew = g (2.74) 
k=0 
BREESE y(n) 的 均 方 误差 最 小 ;其 中 wo 是 归 一 化 角 频 率 m 的 指定 值 ,取信 范围 为 
-TEUS g E Eat Gi EET 


式 (2.71 和 式 (2.74) 描 述 的 是 时 域 约束 最 优 滤波 问题 。 我 们 可 通过 考虑 图 2.10 中 权 值 可 
调 (没有 曾 在 加 中 ) 、 天 线 元 素 均 匀 间 隔 的 线性 阵列 构成 的 波束 形成 器 ,从 空间 角度 表示 访问 
题 。 这 个 阵列 被 来 自 远方 的 各 向 同性 的 源 信号 照射 ,比如 在 时 刻 n, 一 个 平面 波 沿 着 与 阵列 重 
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直方 向 (法 线 ) 成 各 角度 的 方向 人 射 到 阵列 上。 假设 阵 询 元 素 间 的 间隔 小 于 412(4 为 传输 信 
号 的 波长 ) ,以 满 中 空间 域 取样 理论 。 所 产生 的 波 东 形成 器 输出 为 


M-i 
yin) = teo(n) Egem (2.75) 


其 中 用 电 角 度 0 表示 的 到 达 方 向 与 实际 角度 4, 有 关 ; umul BKATAKRAIN BES: A 
2.10 中 0 表示 参考 点 ;ws 表示 波束 形成 器 的 权 值 。 因 此 空间 型 约束 优化 问题 可 以 描述 为 : 


寻找 一 组 权 值 元 素 weg Wyre Wu) AEE HOF RH RR 
M-I 
Daem =g (2.76) 


波 来 形成 器 的 输出 均 方 值 最 小 化 ;其 中 ,6 LET ARR RM RE Rn < Pan, 
名 是 一 个 复 增 盖 。 波 束 形 成 器 响应 仅仅 被 约束 在 单 频 范 围 内 。 从 这 个 意义 上 ,我 们 说 波 
束 形成 器 是 窄带 的 。 

AHR 





l 2 M- 
M 746 E A R R EEFI 


图 2.10 平面 波 人 射 到 线性 阵列 天 线 上 


比较 图 2.9 的 时 间 域 结构 和 图 2.10 的 空间 图 可 以 看 出 , 量 然 它们 表示 了 完全 不 则 的 物理 状 
态 , 但 从 数学 角度 看 是 等 效 的 。 实 际 上 ,对 我 们 来 讲 ,都 是 对 同一 个 约束 最 优化 问题 进行 研究 。 

我 们 采用 将 在 附录 C POH BA FES (method of Lagrange multiplier) 来 求解 这 个 
约束 最 优化 问题 。 首 先 定义 一 个 实 值 代价 函数 J, 它 包含 约束 优化 问题 的 两 个 部 分 , 即 





ae > Sutari 一 大) 十 Rel ar Stet 7 sj (2.77) 
aT REAR 


其 中 是 一 个 复 值 拉 格 朗 日 乘 子 。 注 意 ,在 J BEU PRASAD MEAS SRR mR 
中 指定 电 角 度 值 b% 必须 满足 的 线性 约 东 ;或 者 等 效 地 ,横向 滤波 中 角 频 率 wo 必须 满足 的 线性 
约束 。 但 是 无 论 对 哪 种 情况 ,强加 的 线性 约束 条 件 都 保护 了 感 兴趣 的 信和 号 ,代价 函数 了 的 最 
小 化 郁 弱 了 干扰 或 噪声 ,但 若 不 加 限制 也 会 带 来 茶 些 麻烦 。 

我 们 希望 解 出 波束 形成 器 元 素 权 值 的 最 优 值 , 即 最 小 化 式 (2.77) 定 义 的 J。 为 此 ,定义 梯 
度 向 量 厄 , 并 设 其 为 零 。 因 此 ,采用 与 第 2.2 节 类 似 的 做 法 ,得 到 梯度 向 量 好 的 第 天 个 元 素 为 


M-I 
Vd = 2S rli — k) + Ate (2.78) 
i=0 


令 好 ;为 最 优 权 向 量 w, 的 第 i 个 元 素 , 则 波 东 形成 器 的 最 优 性 条 件 描述 为 
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At 
S warli- k)= se k=01,..,M—1 (2.79) 
-0 


这 村 个 联 立 方程 组 定义 了 波束 形成 带 最 优 权 值 。 它 在 形式 上 上 有些 类 似 于 维 纳 - 霍 夫 广 程 
(2.28). 
据 此 分 析 FRAT a EAA a E ee oh MAR (2. 79 A M “SG a 
AB 
Rw, = 一 末世 po (2.80) 


sh RE Mx M BREE; w, 是 带 约束 波束 形成 器 的 六 x1 最 优 权 向量。 型 x 1 转向 (steer- 
ing) lH] SE MA 
s(00) = [1, em,.., ,CHM (2.81) 
求解 式 (2.80) ,得 到 w, 为 
W, = 一 R's{@,) (2.82) 


IP R EAER RE I RSE RR, APRESS PO LEER, ANE 
RUG REP., RARER LR ABAR A Tate RS BC 
式 (2.82) 给 出 的 最 优 权 向 量 w, 的 求解 并 不 十 分 完整 ,因为 它 包 含 了 未 知 的 拉 格 朗 日 乘 子 
ACCRA EMULE RASS). BARA A , 先 利用 式 (2.76) 的 线性 约束 条 件 写 出 
wis(O5) = g (2.83} 


EE, to (2. 82.) PLY HR AR RPE BR FFE 5 0,) , SR AFR ( 2.83) RES SRE, BD 
得 
28 


=~ aR Wa) 2.00 


这 里 利用 了 等 式 及 -7” =R, DKE s (AR 一 sl) 是 一 个 实数 。 因 此 ,将 式 {2.84) 代 入 式 
{2.82) ,可 得 期 望 的 最 优 权 问 量 为 
S*R ss(00) 
"e s” (Øp) R 1s(00) (2.85) 
注意 ,由 于 在 式 (2.83) 线 性 约 东 茶 件 下 使 输出 功率 最 小 化 , 沿 不 同 于 钢 的 方 回 人 射 到 天 
线 阵列 上 的 信 身 被 前 能 了 。 
显然 ,以 权 向 量 w, 表 征 的 波束 形成 器 称 为 线性 约束 最 小 方差 {LCMY , linearly constrained mini- 
mum-variance) 波 东 形 成 辟 。 对 于 零 均值 输入 从 而 零 均值 输出 的 情况 ,最 小 方差 "与 “最 小 均 方 莽 ” 
RA. MEA ERO M o 代替 后 , 式 (2.85) 的 解 称 为 LCMY WEAN o 


2.8.1 最 小 方差 无 失真 响应 波束 形成 器 


复 常 数 g 定义 了 电 人 角度 为 的 LCMV 波束 形成 器 的 响应 。 在 g = 1 的 特殊 情况 下 , 式 
(2.85) 的 最 优 解 可 简化 为 
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L R's) 
“ee s“ {00)R st0o) (2-86) 
式 (2.86) 定 义 的 波 东 形成 器 响应 是 在 电 角度 8, 等 于 1 的 约束 条 件 下 获得 的 。 换 句 话 说 ,这 个 
波束 形成 器 被 约束 成 党 着 对 应 于 do 的 观测 方向 产生 无 失真 响应 。 
现在 , 壤 优 波束 形成 器 输出 的 最 小 均 方 值 可 表示 为 二 次 型 


Jon = W7 Rw, (2.87) 


因此 ,将 式 (2.86) 代 入 式 (2.87) 并 简化 后 得 到 

I = 1 

mm s" (OR st Ou) (2. 88) 
最 优 波束 形成 器 被 限制 为 在 单位 响应 下 通过 目标 信号 ,同时 使 总 输出 方差 最 小 化 。 方 差 的 最 
小 化 过 程 前 弱 了 不 在 电 角度 8, 方向 上 的 干扰 和 噪声 。 因 此 ,Jo BEANIE 0。 方向 人 射 到 天 线 阵 
列 的 信号 方差 估 值 。 我 们 可 以 通过 将 ,表示 为 6 的 函数 ,推广 这 个 结果 并 获得 以 方向 为 变 
量 的 方差 估 值 函数 。 为 此 ,定义 MVDR( 空 间 ) 功 率 谱 为 


i 
FORO (2.9) 





Suvpr(@) = 


式 中 

s(@) = [1,e7%,... e UT (2.90) 
在 图 2.10 KR a a PRT OM x 1 le OPRAH A o 的 频率 扫 
描 向 量 代 兰 图 2.9 横向 滤波 器 中 的 8。 依 据 定义 , Sey (或 Sar o BRAD AR. 
对 流 东 形成 器 输入 来 讲 , 它 依赖 于 电 和 角度 8; 而 对 横向 浪 波 器 输入 而 言 , 则 依赖 于 角 频 率 口 , 故 
篆 称 之 为 功率 洋 估 计 。 实 际 上 , 它 通 常 称 为 MVDR WO, A, UTE RHEES w, 
对 应 于 其 他 角 频 率 的 功率 都 被 最 小 化 了 。 因 此 ,与 第 1 章 所 讨论 的 以 功率 谱 定 义 为 基础 的 非 
参数 法 相 比 ,MVDR 谱 具 有 更 尖 的 峰值 和 更 高 的 分 辩 率 。 


2.9 | MSR A 


继续 讨论 式 (2.76) 线 性 约束 定义 的 LCMY 窄带 波束 形成 器 ,注意 这 个 约束 实际 上 是 一 个 
AA 
w"s() = 8 
其 中 是 权 向 量 ,st 6, ) 是 指向 电 角 度 名 的 对 x1 转向 向 量 , 共 中 M 是 波束 形成 器 天 线 元 素 
的 数目 。 我 们 将 这 个 线性 约束 的 概念 推广 , 引 和 人 多 重 线性 约束 的 定义 , 即 
Ciw 一 对 (2.91) 


@ ADHERE AIA TNF Capanfl9691。 在 交 献 中 , 它 称 为 最 大 似 熟 方法 (MLM, maximum likelihood method). 3% 
商 , 这 个 公式 实际 上 对 经 典 的 最 大 似 热 原理 并 没有 拓 么 影响 。 因 此 ,对 该 公式 不 推荐 使 用 MLM 术语 。 
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JERE CRAARES E ghAR RAR ,其 抑 素 为 常数 无 素 。 设 共有 工 个 线性 约束 条 件 ， 
则 CC 是 一 个 型 x 工 矩阵 ,是 一 个 二 x1 向 量 ; 矩阵 CC 的 每 一 列表 示 一 个 线性 约束 。 更 进 一 
步 , 假 设 约束 矩阵 C 拥有 线性 独立 的 列 。 例 如 ,具有 


[stboj s(0,)|"w = B 


罕 带 波束 形成 器 受到 约束 ,以 便 保 护 语 电 前 度 o 方向 投射 到 阵列 上 的 感 兴 趣 信 号 ,同时 抑制 
EE b 方向 发 生 的 已 知 干扰。 
令 Mx (M - LER C, 的 列 向 量 定义 为 矩阵 C 的 列 向 量 张 成 的 空间 的 正 交 补 (orthogonal 
complement) 空 间 的 基 。 利 用 正 交 补 空间 的 定 关 ,我 们 可 以 写 出 
clic, = 0 (2.92) 
或 者 
CiC=0 (2.93) 
式 (2,92) 中 的 零 第 阵 O FE Lx CM - LER, mfesh (2.93) P, FE OEM - L) x LER, 
自然 有 M>L. WERE Xt OM x MOREE 
U =([C:C,] (2.94) 
其 列 向 量 张 成 MESSI, PSR U ATES, Bee U 总 是 存在 。 
其 次 ,将 村 x ORE a RE UA 
w = Ug (2.95) 
Be hh Mx 1 向 量 g 定 闵 为 
q= Uw (2.96) 


按照 与 式 (2.94) 相 容 的 方式 ,将 q 分 割 为 两 部 分 


q= Ea (2.97) 


Fob y B—+ Lx 1 向量;w, 是 一 个 (MM- L) x 1 AR, CARAS w 不 受 约束 的 部 分 。 将 式 
(2.94) 和 式 (2.97) 代 入 式 (2.95) ,得 到 


， ¥ 
wale: ol (2.98) 
= Cy — C, wW, 
利用 式 (2.91) 的 多 重 线性 约束 ,得 到 
CHCY — C'C,w, = g (2,99) 
但 是 ,从 式 (2. 名 2) 可 知 ,C”C, 等 于 零 ;从 而 式 (2.99) 变 为 
C'Cy =g (2.100) 


对 向 量 求解 上 式 , 得 到 
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v= (CAC) g (2.101) 
从 中 可 以 看 出 ,多 重 约束 并 没有 影响 wo 
下 面 , 将 国定 的 波束 肛 成 费 分 基 定 义 为 
w = Cy = C(C"C)"g (2.102) 
由 于 式 (2.93) 所 描述 的 特性 ,w, UE EC, ling, Æ w, PRATE g 的 合理 性 在 后 
MGS aR, REI Te XM OT AFAR (2.98) RE RE a a BS A A i] BE 
w= w Cw (2.103) 





将 式 (2.103) 代 入 式 (2.91) ,得 到 
Cw, - CC w, =g 
利用 式 (2.92) ,上 式 可 简化 为 
Cw =g (2.104) 
式 (2.104) 表 明 , 权 向 量 w, 是 权 向 量 w 满足 约束 条 件 的 部 分 。 相 反 , 向 量 w。 是 不 受 约束 条 件 
影响 的 部 分 ,因此 它 提供 了 构成 波束 形成 器 设计 的 自由 度 。 因 此 ,依据 式 (2.103) , ORE 
可 以 用 如 图 2.11(a) 所 示 的 框图 来 表示 ,这 样 设计 的 波束 形成 器 称 为 广义 尝 瓣 消除 器 (CSC， 
generalized sidelobe canceller)®, 
依据 式 (2.102) ,可 进行 波束 形成 器 输出 y(n}) 的 均 方 值 相对 于 可 调 权 向 量 w 的 无 约束 最 
小 化 。 依 据 式 (2.75) , 波 东 形成 器 的 输出 定义 为 如 下 内 积 形式 
y(n) = wua) (2.105) 
式 中 
ua) = woln) [1, 7, ..., eH] (2.105) 
BM Fe. KPA o 定义 为 人 射 平面 波 的 到 达 方 向 ,ztaz) 是 n 时 刻 被 图 2.10 
中 线性 天 线 阵列 的 元 索 0 捕 提 到 的 电信 号 。 因 此 ,将 式 (2.103) 代 入 式 (2.105) ,得 到 


y(n) = win(n) — wa Cul) (2.107) 
如 时 定义 
wy mt) = d(n) (2.108) 
和 
CHu(n) = x(n} (2.109) 
则 可 以 将 式 {2.107) 重 写成 类 似 于 标准 维 纳 滤 波 器 的 形式 , 即 
y(n) = d(n) 一 wex(n) (2.110) 


式 中 d(n) 起 到 GSC 中 的 “期 望 响 应 ”的 作用 ,而 x(n) 扮 演 了 输入 向 重 的 角色 ,如 图 2.11(b) 所 





Po SLRS ETEW h Hanson 和 Lawson(1969) 提 出 的 线性 约束 二 次 优化 问题 的 录 解 方法 。 术 语义 旁 
Se JE LH Griffiths 和 imr1982) 创 造 的 。 对 于 该 消除 器 的 讨论 ,参见 Van Veen 和 Buokley(1988 VH Van Vont1992)。 
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示 。 可 以 看 出 ,向 量 w, AEE C, 的 结合 将 线性 约束 优 屁 问题 转化 为 一 个 标准 的 最 优 滤波 
问题 。 具 体 来 讲 ,我 们 现在 和 只 处 及 权 回 量 中 可 调 部 分 w, 的 无 约束 最 优化 问题 , 即 
min E[jy(a)f] = min(oj ~ wip, — př w, + wiR,w,) (2.111) 
其 中 ,p, ACM - 二)x1 互 相关 向 量 
px = E[x(n}d*(n)| (2.112) 
R. ACM - L) x (M - LF 
R, = E[x()x"(n)] (2.113) 





(b) AER BB SR eB 


图 2.11 JSR ES RI ATE 


式 (2.111) 的 代价 函数 是 未 知 向 量 w, 的 二 次 函数 , 它 体 现 了 前 面 所 阐明 的 GSC 的 可 用 自 
由 度 。 更 重要 的 是 ,这 个 代价 丽 数 与 式 (2.50) 定 义 的 标准 维 纳 滤波 器 具有 完全 相同 的 数学 形 
式 。 因 此 ,很 容易 利用 前 面 的 结果 得 到 w, 的 优化 值 

Wa = Rx pe (2.114) 


Mesh (2.108) FURR (2. 109) FCA HK (2. 112) ,得 到 
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p: = E(C?u(n)u"(n)w, | 
= CË Efalnyju" (n) Jw, (2.115) 
= C7 Rw, 
式 中 县 是 输入 数据 向 量 on) SESE. PREP A2. 109) FRA R2. 113) FER R, BY 
表达 式 为 
R, = E[C#u(njo"(n)C, | 
= CURC, 
因为 输 人 数据 总 是 包含 一 些 加 性 传感器 噪声 及 R, EE AY, OS C, 是 满 秩 阵 ,而 相关 
HERF R 是 正定 阵 。 因 此 , 式 (2.1t4) 的 最 优 和 解 可 重 与 为 
Wo = (C RC) CH Rw, (2.117) 
设 P, BRA w. SEA CSC 最 小 输出 功率 。 那 么 ,改写 前 面 式 (2.49) 导 出 的 标 
准 维 纳 滤 波 器 的 结果 ,并 继续 采用 类 亿 于 刚刚 介绍 的 方法 ,我 们 可 将 天 表示 为 
P, = o} 一 pr 及 7 了， 
= wiRw, — wiRC{(CARC,) CF Rw, (2.118) 


现在 考虑 静 品 环境 (quiet environment) 的 特殊 情况 , 即 接收 到 的 信号 只 包含 起 作用 良品 声 
的 情况 。 设 相关 符 阵 满足 如 下 方程 


(2.116) 





R=] (2.119) 
其 中 了 是 Mx MSE? 是 噪声 方差 。 在 这 个 条 件 下 ,从 式 (2.117) 容 易 发 现 
Wo = (CC CHw, 
根据 定义 , 权 向 量 w, 正 交 于 和 矩阵 C, 的 列 向 量 。 由 此 可 知 ,最 优 权 向 量 w ERC. 119) 
的 静 品 环境 下 等 于 零 。 由 于 Ww 等 于 零 , 则 从 式 (2.103) 可 求 出 w=w,。 正 是 由 于 这 个 原因 ， 
W, 通常 称 为 静态 权 向 量 { quiescent weight vector) ,六 而 用 下 标 g 表示 它 。 


2.9.1 w, 和 Ce。 的 滤波 解释 


静态 权 向 量 w, HER C, 在 GSC 工作 中 起 着 关键 作用 。 为 了 导出 其 物理 解释 ,考虑 时 域 
表示 的 MVDR 谱 估 计 器 。 对 此 ,我 们 有 
C= swo) 


= [1,e%, EHM Luo]? {2.120) 
和 
g=1 
因此 ,使 用 式 (2.102) 中 这 些 值 ,得 到 对 应 的 静态 权 向 量 , 即 
Wa = Cc Cyg 
(2.121) 


= 5 [te hoe el 
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它 表示 一 个 长 度 为 M 的 FIR 泪 波 器 ,这 个 凄 波 器 的 频率 响应 为 


7 M L _ 
H eer jk wt 
W, sw] = & 
s (9) M 2 


1 < gM tw 
E = a saya 
f (2.122) 


sin (Hono) Pcs) er 














2 


sin G fe 一 »)} 

图 2.12fa) 示 出 当 M=4,0, = 1 REBAR, AR PAA Seay 
向 量 w, 的 FIR WB eed BAU wo A ie SS a AEH , REP 
MVDR Sai hit REPR AE E CR Ban, 














Whe Fr Od 








© = epa 
一 一 = |L-expate-ay) 
La piepie) 
图 2.12 (和 ) 将 Ws(w) 看 做 FIR EARRAN (OHER C, 


的 每 一 列 看 佑 一 个 带 限 滤波 器 。 图 中 假设 wm = 1 
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FP BS Re C, 的 物理 解释 ,将 式 (2,120) 用 于 式 (2. 吕 ) ,得 到 
s” (w), = 0 (2.123) 
APE Th (2.123) 0M - DAER C, 中 的 每 一 列 部 表示 一 个 在 村 幅度 响应 为 零 的 FIR 滤波 
R, wo =1,M=4,L=1, U8 
-| -1 -1 
eI 0 0 
0 eve 0 
0 0 eBoy 
如 图 2.42(b) 所 示 。 换 名 话说 ,年 阵 C, 可 以 用 带 阻 滤波 器 组 来 表示 ,其 中 的 每 个 滤波 骨 调 谐 
在 wo 上 。 因 此 ,C, 称 为 信号 阻塞 笔 阵 (signal-blocking matrix) , 它 阴 断 了 角 频 率 处 的 接收 信和 号 。 
Fa C, MORELIA RS Bub By w, EPS DE DE aE oF ES i HE a 


C, = 


2.10 本章 小 结 


本 章 讨 论 的 离散 时 间 维 纳 滤 波 理 论 是 从 维 纳 关 于 连续 时 间 信 号 的 线性 最 优 滤波 器 这 个 开 
拓 性 工作 演变 过 来 的 。 维 纳 滤 波 器 的 重要 性 在 于 , 它 为 广义 平稳 随机 信号 的 线性 滤波 提供 了 
一 个 参考 框架 。 

维 纳 滤波 器 具有 两 个 重要 特性 : 

1) 正 交 性 原理 ” 维 纳 滤波 器 产生 的 误差 信号 (估计 误差 ) 正 交 于 它 的 抽 头 输 和 人 信和 号; 

2) 误差 入 号 统计 表征 为 自 品 声 。” 当 滤波 咒 长 度 与 描述 观测 数据 ( 即 期 望 响 应 ) 产 生 的 多 

回归 模型 阶 数 匹配 时 ,这 个 条 件 成 立 。 

归 入 维 纳 滤波 理论 范围 的 滤波 器 结构 有 两 种 不 同 的 物理 类 型 ， 

© 横向 滤波 器, 以 有 限 脉 冲 哨 应 为 特征 。 

© 宗 带 波束 形成 器 ,由 一 组 权 值 可 调 ,间隔 均匀 的 天 线 元 素 组 成 。 

这 两 个 结构 具有 相同 的 特征 :它们 都 是 线性 系统 的 实例 ,其 输出 都 定义 为 权 向 量 与 输入 向 
量 的 内 积 。 涉 及 这 种 结构 的 最 优 滤波 器 都 是 维 纳 - 堆 去 方程 的 具体 体现 ,其 解 都 包含 两 个 集 平 
HER. 

ehAMBHMAKEE. 

o 输入 向量 与 期 望 啊 应 的 互相 关 和 矩阵 。 

维 纳 滤波 的 标准 表达 式 中 要 求 具备 期 望 响应 。 但 在 许多 应 用 中 ,无 法 得 到 这 样 的 响应 。 
对 于 这 些 应 用 ,可 以 利用 一 类 称 为 线性 约束 最 小 方差 (LCMV) 的 线性 最 优 滤波 器 或 者 LCMY 波 
束 形 成 器 ,这 取决 于 该 应 用 是 在 时 间 域 还 旦 空间 域 。LCMY 方法 的 本 质 在 于 ,在 对 权 向 量 的 一 
组 线性 约束 条 件 下 使 滤波 峰 平 均 输出 功率 最 小 。 施 加 约束 的 目的 是 为 了 防止 权 向 车 消 除了 感 
兴趣 的 信号 。 为 了 满足 多重 约束 要 求 , 可 利用 广义 旁 瓣 消除 器 (GSC) ,其 权 向 量 分 为 两 个 部 


分 : 
se 静态 权 向 量 , 它 满足 规定 的 约束 条 件 。 
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@ 无 约束 权 向 量 ,对 这 部 分 权 向 量 的 优化 就 是 依据 维 纳 滤波 理论 使 接收 机 噪声 和 干扰 信 
号 的 影响 最 小 。 


2.11 习题 


， 复 变量 z= x+ 六 的 轴 数 f(z) 成 为 解析 函数 的 必要 条 件 是 它 的 实 部 ula, y) AMER, y) 
必须 满足 柯 西 - 黎 芝 (Cauchy-Riemann) 方 程 ( 对 于 复 变 量 情况 的 讨论 ,参见 附录 A)。 通 过 如 
下 步骤 证 明 式 (2.43) 定 义 的 代价 函数 J 不 是 权 值 的 解析 函数 。 

(a) 证 明 乘 积 P”( - kw, 是 复 抽 头 权 和 值 (滤波 器 的 系数 ) w, 的 解析 函数 。 

(b) 证 明 乘 积 wr pt - 上) 不 是 解析 函数 。 





.考虑 一 个 维 纳 滤波 问题 ,其 拙 头 输入 向 量 um) 的 相关 矩阵 R 为 


1 05 
R ie 1 | 
PALMA WE utn) 与 期 望 响 应 4(n) 的 互相 关 向 量 为 


p = [0.5, 0.25] 


(a) 求 维 纳 滤波 器 的 抽 头 权 值 。 
(b) 这 个 维 纳 滤波 器 所 产生 的 最 小 均 方 误差 是 多 少 ? 
(c) AERE R 的 特征 值 和 相应 的 特征 向 量 表 示 维 纳 滤波 器 。 


， 给 定 如 下 条 件 , 重 复习 题 2 (a). Cb). (c) 


| 05 0.25 
R=l05 1 os 
| 0.25 05 1 

p = 0.5, 0.25, 0.125] 


注意 ,这 些 数 值 要 求 使 用 具有 3 MBSA ERIE 

.假设 给 定 两 个 时 间 序 列 (0), uC), CNA d(0), dt1),…, 4(N), 二 者 都 是 两 个 联 
合 广义 平稳 随机 过 程 的 实现 。 该 序列 分 别 是 长 度 为 时 横向 滤波 器 的 抽 头 输入 和 期 望 响 
应 。 假 设 这 两 个 过 程 是 各 态 历 经 的 ,通过 使 用 时 间 平 均 方法 导出 维 纳 滤波 器 抽 头 权 凋 量 
的 估计 值 。 

， 横 向 滤波 器 的 抽 头 权 向 量 定义 为 





an) = afa)s{n) + vl) 


其 中 


s(w} = [1,e7%,...,.e 0-9]? 


vin) = [eta ein 1) rn M 4 1)]7 
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正弦 向 量 stw) 的 复数 幅度 是 零 均值 .方差 为 o = El 1a(ln)1] 的 随机 变量 。 试 完成 如 下 
工作 ; 
(a) MELAS ul) MHRA. 
(b) 设 期 望 响应 dC) AM ul n) BAB, BE AEE OK a8 FR SLA RITA? 
Cc) 假设 方差 oi = 0, 目 标 响应 d( nde XA 
d{n) = pin — k) 
RHOck=<M-1, HRRRAMHAR RHPA A? 
(d) AER RRE A SE a Ue BE A SKA fe) E 
din) = efaje 
这 里 r 是 时 延 。 
， 证 明 式 (2,34) 定 义 维 纳 滤波 器 抽 涉 权 向 量 w, MIRR- ERTER LRN RE Jan 
的 式 (2.49) 可 以 合并 成 简单 的 和 矩 涟 关系 式 


其 中 矩阵 A 是 增 广 向 量 
d(#) 
pi 
的 相关 矩阵 , 式 中 期 望 响应 为 dln) , 维 纳 涉 波 器 抽 头 输 和 人 问 量 为 由 mo 
， BANA REE AL (2.49) | 
dnin = Ti zi p’R'p 
其 中 oa 为 期 望 响应 din) 的 方差 ,R aS or el un AE, p A ul nA d(x) 
闻 的 互相 关 向 量 。 将 特征 值 分 解 应 用 于 相关 和 矩阵 (例如 及”) ,证 明 


， pl 
Jmin ~ FH ~ = “eer 
其 中 4, 和 gq, 分 别 是 矩阵 及 的 第 天 个 特征 值 及 其 对 应 的 特征 向 量 。 注 意 ip 是 标量 
， 参 见 第 2.6 节 介绍 的 关于 最 优 滤波 多 回归 模型 的 讨论 ,证 明 对 于 过 拟 合 模型 惟一 的 可 能 
解 由 式 人 (2, 他) 定义 。 
.考虑 一 个 线性 回归 模 氮 ,其 输入 输出 特性 定义 发 


din) = aupin) + v(n) 


其 中 


ay 一 an Oyal 


uylan) = [wtn) tye nla m] 


1d. 


11. 
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假设 MAT RAE m BARS u (oR A 


Ry = Rn | cesses atom. | 


H i 
L Eif-m i Ryn, M-m 


抽 头 输入 向 量 uln) 与 期 望 响应 的 互相 关 向 其 d(n) 分 块 为 


By = te... 
Pu -nm 
(a) 寻找 条 件 使 得 (对 - m) x 1 向量 pw UF an Rn Ap, 满足 维 纳 方 程 ; 
(b) 将 (a) 的 结果 运用 到 第 2,7 节 的 例子 中 ,证 遇 对 于 M =4, 互 相关 向 量 pp 的 最 后 一 个 元 
BA 





p(3) - —0.0126 
4 阶 多 回归 模型 的 统计 特征 妨 下 : 
e ihk Aa nE mtn) 的 相关 和 窍 阵 为 


11 05 01 -0.1 
05 11 05 01 
01 05 11 05 
-0.1 01 05 11 
e 观测 的 数据 和 输入 向 量 的 互相 关 疝 量 为 


pa = (0.5, -0.4, -0.2,-0.1]" 


@ 观测 数据 dtn) 的 方差 为 


MERRITT AA 


可 变 长 度 为 M 的 维 纳 滤波 器 工作 在 输入 向 量 u(n) 和 期 望 响 应 的 观测 数据 为 d(n) 的 情 
况 下 。 试 计算 并 画 出 时 =0,1,2,3,4 时 维 纳 滤波 器 所 产生 的 均 方 误差 。 

图 P2.1(a) AES P2.1(b) 分 别 表示 期 望 响应 为 <&(n) 的 自 回归 模型 和 含有 陈 声 的 通信 信道 
模型 。 在 图 PaF, n (BEM WEN oi =0.27 的 白 噪声 过 程 ; 在 图 了 2.1(b) 中 ， 
nim EFSER ef -01 AREH. HARAR v,(n) 和 v,(n) 是 统计 独立 
的 。 

(a) 证 明 信 道 输出 为 


u(n)=x(n) + vln) 


其 中 


x(n) = O1x(a — 1) + O.8x{n — 2) + rin) 


(b) 假设 使 用 长 度 为 2 的 维 纳 滤波 器 ,确定 抽 头 输入 向 量 的 相关 矩阵 R 和 抽 头 输 人 向 量 
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与 滤波 天 期 望 响应 的 互相 关 疝 量 。 
(e) 利用 (a) 和 (b) 的 结果 ,确定 维 纳 滤波 具 的 最 优 权 向 量 和 维 纳 滤 波 融 产生 的 最 小 均 方 误 


Hn) 





(a) FERN dn) 的 自 回 时 模型 


ran) 


nin) 





(b MEHEA dn) ATRA E a 


图 P2.1 期 望 啊 应 为 dt n) 的 两 种 模型 


12. 在 这 个 习题 中 ,我 们 探讨 对 于 习题 11 中 所 描述 的 环境 使 用 更 为 复杂 的 维 纳 滤波 器 所 带 来 
的 性 能 提高 。 具 体 来 说 ,新 的 维 纳 滤 波 器 有 3 个 抽 头 。 
Ca) 寻找 这 个 滤波 器 的 抽 头 输入 的 相关 和 矩阵 ,期 望 响应 和 抽 头 输入 的 互相 关 疝 量 。 
(b) 计算 维 纳 滤 滤器 的 抽 头 权 向 量 和 最 小 均 方 误差 。 

13. 在 这 个 习题 中 我 们 研究 维 纳 滤波 器 应 用 于 雷达 。 传 输 的 雷达 信号 的 抽样 形式 为 Aue*”， 
其 中 wo 是 传输 的 角 频 率 , A 是 传输 的 复 幅 度 。 接 收 信和 号 为 


u{n) = Aye" + p(n) 
其 中 1411 < lAl, ATERN Dopet, o, 不 同 于 wot SER RIE. 
(a) 证 明 由 METRAR EES] u KREET ERA 
R = I + ois(m)er tm) 
E+ e EFHEARSE (n RAZ, H 
ci = E[|a i] 


和 和 
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son) = [he ,se ot DT 


(b) 时 间 序 列 u(n) 应 用 于 M THREE, u(n) SRAM dC) Ne ASE i 


HEX 
p = mis(e) 
其 中 
08 = El|A| ] 
和 
sf a] = [i.e fen err LT 
试 推导 维 纳 滤波 器 抽 头 权 向 量 的 表达 式 。 


14, 阵列 处 理 器 由 一 个 基本 传感器 和 参考 传感器 相连 组 成 。 和 参考 传 感 器 的 输出 经 过 w 加权， 
然后 从 基本 传感器 中 减 去 。 证 明 当 权 值 w 达到 其 最 优 值 
_ Elu(n)u}(n)] 
E| fjeti] 
时 阵列 处 理 器 输出 的 均 方 值 达 到 最 小 值 。 其 中 ,wtn) 和 uw, ODRA n 时 刻 基 本 传 感 


器 和 参考 传感器 的 输出 。 
15. 离散 随机 过 程 wx(n) 由 天 个 (不 相关 ) 复 正弦 加 上 噪声 组 成 。 品 声 是 零 均 值 . 方 差 为 = 的 
BR , Bl 


K 
ufn) = A + pin) 


其 中 ,4ue 关 和 六 nm) 分 别 表示 第 守 个 正弦 和 噪声 ,将 uln) 应 用 于 型 个 抽 头 的 横向 滤波 器 
得 到 的 输出 为 


假设 M> 并, 选择 抽 头 权 向 量 w 使 得 在 多 信号 保护 约束 条 件 
Sw = D1 
下 使 e (nm ) 的 均 方 误差 最 小 。 其 中 8 Mx KSRE, 其 第 上 列 为 1， 
expl jo) t ,exp[ jo, M -1)], DÆ Kx K OAR, EARS OCR SFP IE AE 
功率 ,1 是 玉 x1 向 量 ,其 下 个 元 素 均 为 1。 利 用 拉 格 朗 日 乘 子 ,证 明 在 约束 条 件 下 最 优 权 
向 量 为 
w, = R'S(S*R'S) Di21 
Hp RÆ M xl ARAA E an) 的 相关 矩阵 。 该 公式 表示 了 MVR 公式 的 时 间 泛 化 。 


16. LCMV 波束 形成 器 的 权 向 量 w, 由 式 (2.85) 定 义 。 一 般 地 ,这 个 定义 的 LCMV 波束 形成 器 
并 没有 使 输出 信 品 比 最 大 。 具 体 来 说 , 令 输 入 问 量 为 


17. 


18. 
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u(r) = stn} | pin) 





其 中 s(n) 代 表 信号 分 量 ,y(n) 代 表 加 性 噪声 分 量 。 证 明 权 向 量 w 不 满足 如 下 条 件 


wR ow 
max ——, 
* wR w 


HF R, ,R, SP aE s(n) Al ?na) 的 相关 矩阵 - 
在 本 习题 中 PRATER TT SE ST Fi Ee or ae AR A AREA TT. $ a 
表示 当 一 个 平面 波 从 实际 观察 方向 上 人 射 到 阵列 上 的 时 候 第 ; 个 元 素 的 传播 时 延 , 时 延 1 
是 以 零 时 刻 为 参考 点 计算 的 。 
(a) RERE w 随 信 号 角 频 率 mw( 由 实际 观察 方向 区 引起 的 ) 变 化 时 波束 形成 器 的 响 
应 。 
(b) 确定 强加 于 阵列 的 线性 约束 以 使 产生 等 于 沿 方 向 $ 的 响应 gg。 
考虑 存在 加 性 噪声 的 情况 下 已 知 信号 的 检测 问题 ,假设 品 疡 是 高 斯 的 且 独 立 于 信和 号 ,并 
RASH AEE EE 及 .。 证 明 : 在 这 些 条 件 下 ,以 下 三 个 准则 , 即 最 小 均 方 误差 ， 
最 太 信 品 比 和 似 然 比 测试 对 于 横向 滤波 器 产生 同样 的 设计 效果 。 
设 fr) ,t=1,2,… ,于 RRM TRAM. FER rin), n= 1,2,4, M RS 
均值 高 斯 噪声 过 程 的 抽样 值 。 最 后 令 s(n) ,n=1,2,…, M 表示 信号 样 值 。 确定 该 检测 问 
eA PS PRES PSUR AMAR. BI TAB: 
假说 H,:u(n) = s(n) + v(n) n=1,2,°°,M 
{AGE H): u(r) = v(n) n=1,2, =, M 
(a) HARE A Ree. ERR ae Ss E s 的 第 上 个 分 量 5 ,这 个 准则 
( 即 假设 H, 或 假设 H ) 获 得 最 优 抽 头 各 向 量 
Y TFR 





R,'s 


提示 :为 了 在 假设 了 下 计算 un) KEE, TRASK, Ht, > 
A =B? + CDC! 
AP AB, DARE ELE OA 
A’ =B- BC(D + CrBC)I CIB 
(b 最 大 信 灌 比 滤波 器 使 得 如 下 比值 最 大 
滤波 器 信号 输出 的 平均 功率 


0 RRSP HR 
_ El(w’s) | 


El(wiy) | 


证 明 : 输 出 信 品 比 p 最 大 时 , 抽 头 权 向 量 为 


— 一 | 
wow = R,'s 
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(提示 ;因为 及 是 正定 的 ,可 以 使 用 R, =RPR.) 
Co) 似 然 比 处 理 器 计算 对 数 侯 然 比 ,并 将 它 与 门限 信 比 较 。 如 果 超 出 门限 值 , 浏 定 为 假设 
Hi ,否则 假设 为 Hj。 似 然 比 定义 为 


其 中 下 (alH,) 是 在 给 定 假设 H(i=0,1) 为 真 时 ,观察 向 量 u 的 联合 条 件 概 率 密度 星 
数 ， 证 有 明 似 然 比 测试 等 价 于 如 下 测试 


其 中 y AIRE, HA 


= -1 
Win = R, 5 


{提示 :参考 第 1.11 FAESA WAEA R OM x1 EMRE OE o 的 联合 概率 
HF.) 

19. 82.47 U4EA-BAV EMA FIR WR, AM eta SARE 
aaj, Nt fh IB Tea) ES BS AR RO AE. CEP SP, RT RIA ARS ES 
ZARE, HY OE Ee SEAR. 

(a) > 


sz) = Sree 


= -a 


表示 抽 头 输 人 的 自 相关 序列 的 双边 z 变换 。 类 似 地 , 令 
Piz) = > ptkjz* 


Be HRS HRA US SH Gz 变换 (注意 对 于 z = e* ,这 两 个 
式 子 可 简化 为 功率 谱 密 度 的 定义 )。 从 将 下 限 改 为 i= - % 的 式 (2.27) 出 发 ,证 明 不 可 
实现 的 维 纳 滤波 器 的 转移 函数 可 定义 为 


其 中 


(b) 假设 给 定 
0.36 


a) = (1 — 0.224} — 0.22) 


104 自 适 应 滤波 器 原理 





1.37(1 — 0.146z (1 ~ 0.1462) 
= f-o - 022) 





S{z) 


确定 不 可 实现 的 维 纳 滤 波 器 的 转移 抑 数 , 电 出 滤波 器 的 脉冲 响应 。 
(c) 假设 在 泪 波 器 脉冲 响应 中 加 人 时 延 ,选择 .个 合适 的 时 延 值 使 得 滤波 器 是 可 实现 的 。 
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在 时 间 序 列 分 析 中 一 个 最 重要 的 问题 站 :给 定 - -个 平稳 离散 随机 过 程 的 一 组 过 去 样 值 , 西 
测 该 过程 的 将 来 值 。 喝 详细 地 说 .考虑 时 间 序 列 un) ,utn -1),- ulin- M) ENS RR 
表 该 过 程 n 时 刻下 其 之 前 的 (和 + tPA. 顶 测 过 程 的 -个 例子 就 在 使 用 
u(n—-1),u(n—-2),,u(n— MATT a(n). 给 定 这 组 样 值 ,用 4 。， ea AA un - 1), 
u(n—-2),--,u(n- MIKA) M EEE, HA en I a u(n) 的 预测 值 。 在 线性 预测 
中 ,这 个 预测 值 可 用 样 值 unl), un - 2), ulin- MAES HK IA. MINA n -1 
而 言 IX BRAG TAR EA a, A I AM a HA 
W, BP Te) RAT RI [ed EMMI FLP, forward linear prediction)。 在 另 一 种 预测 形式 中 ,我 们 后 用 
FAB uta) ,wtn 一 1 ,… un M+ DS u(n- MEW, FPR MB RA Ig 
线性 预测 {BLP, backward linear prediction)“. 

在 这 一 章 里 , FRA BOE A tEAM FLP) a el ete (BLP), Fylke, FRAT 
使 用 第 2 章 的 维 纳 滤波 器 理论 来 优化 前 向 和 后 向 预测 器 的 设计 。 对 广 浆 平稳 的 离散 随 酉 过程 
而 言 ,这 蚌 在 均 方 误差 意义 上 取得 最 优 。 正 如 第 2 童 所 述 , 这 个 过 程 的 相关 矩阵 具有 托 伯 利 兹 
{Toeplitz) 结 构 , 在 研究 高 效 计算 算法 时 要 充分 利用 这 个 结构 。 


3.1 前 向 线性 预测 


图 3.1(a) 表 示 前 向 预测 点, 它 由 故 个 栅 涉 权 值 为 wj, upaa ttt ey MAD 
un},u ln -2),…,w(n 于 ) 的 线性 横向 滤波 器 组 成 。 假 设 抽 头 输入 来 自 珀 值 为 零 的 广 
文平 稳 随机 过 程 ,并 进一步 假设 在 与 维 纳 滤 波 髓 理论 相 一 致 的 均 方 误差 意义 上 抽 头 权 值 是 最 
fas. WR A 











M 
A(n Ana = Swe un — k) (3.1) 
k=l] 
对 于 上 述 情 况 ,目标 响应 dn) SF w{n}) 表 示 时 刻 n 输入 过 程 的 实际 样 值 , 故 可 写 出 
d(n) = u(n) (3.2) 
BY a] BUI SPAR (n) SEO on UL EL 六 (na) 表 示 , 可 写 为 
fuln) = u(n) — Hal (3.3) 


其 中 下 标 M 表示 预测 器 的 阶 数 , 它 等 于 需要 存储 的 .用 来 进行 给 定 样 值 预测 的 延 时 单元 数 。 
使 用 这 个 下 标的 原因 将 在 本 章 的 后 面 加 以 阐明 。 





O “后 向 预 届 "这 个 词 儿 得 有 些 厅 当 。 更 为 台 延 的 描述 应 为 “后 见 之 明 "。 央 此 与 之 相关 的 使 用 "前 癌 " 这 个 阅 也 有 些 
密 余 、 斤 而 ,“ 前 向 预测 "和 “后 向 预测 "这 两 个 词 已 经 在 线性 预测 的 有 关 文 献 中 国定 恒 用 了 。 
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a(n ~ M +l} 





(a) - 步 预测 器 








RRRSBRS 
(c) 预测 器 和 预测 误差 滤波 器 的 关系 


图 3.1 不 同 前 后 预测 器 的 示意 图 及 关系 图 


A 
Py = E] BTA (3.4) 
表示 最 小 均 方 预测 误差 。 假 设 抽 头 输 人 为 零 均值 , 则 前 向 预测 误差 ftn) 世 同样 具有 零 均值 。 
在 这 个 条 件 下 Py 等 于 前 向 预测 误差 的 方差 。Py 亦 可 解释 为 , 它 可 以 看 做 平均 的 前 向 预测 
误差 功率 ,其 中 假设 fy (n) 通 过 1 欧姆 的 负载 。 我 们 将 使 用 后 者 来 解释 Py。 
S w, 表示 图 3.1(a) 中 前 向 预测 器 的 Mx 1 最 优 抽 头 权 向 量 , 其 展开 式 为 


Wy = [Wy 1, Weare wal 
为 了 使 用 维 纳 - 餐 夫 方程 求 权 向 重 wi: 需要 知道 两 个 量 : 《1) 抽 头 输 入 u(n-1),u(a-2),..., 
ulna- MORM x 型 相关 矩阵 ;(2) 这 些 抽 头 输 人 与 期 望 响应 utn) 之 闻 的 Mx 下 相关 向 量 。 
为 了 得 到 PP ,还 需要 第 三 个 量 uln) 的 方差 。 现 分 别 考 虚 这 三 个 量 : 


(3.5) 
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1) FOSSA ula-t).eln-2) 0 ulan- MEXT Mximan 
un — 1) = [xn — i) u(n = 2),...,u(0 — MJ (3.6) 
因此 , SK HA BY AD KERJ 
R = Elu(n - 1)ja”(n — 1)] 


r(0} r(1) - r(M — 1) 
r*(1) r(0) = rM — 2) (3.7) 
(M — 1) iM — 2) m (0) 


BoP r FERED k AY BR a AE k=0,1, 0, M1, WERSE 
RA 3.a PRAA REE E'S 5 O24 PR ER AHAA A REAS 
符号 一 样 。 业 已 证 实 ,这 样 使 用 符号 是 有 道理 的 。 由 十 在 这 丙种 情况 下 都 假设 输 和 人 过 
程 为 广义 平稳 ,因此 这 个 过 程 的 相关 惩 阵 共有 时 移 不 变性 。 
2) HERA ulna- l), ulan -2), eula MA REREH un) ASE 
r= Elutn — lu*(n)] 


r*{1) Fat) 
sl MOEN a | 2) (3.8) 
m(M) r(-M) 


3) AF (MAR RHE, BE utn) 的 方差 为 (0)。 


在 表 3.1 中 ,总 结 了 图 2.4 中 维 纳 滤 波 器 的 各 个 量 以 及 图 3.1(a) 中 前 向 惠 测 噬 和 后 同 预 
测 器 中 各 种 量 之 间 的 对 应 关系 。 其 中 ,最 后 一 列 为 后 向 预测 器 ,其 细节 将 在 后 面 讲述 。 


表 3.1 维 纳 滤波 变量 总 结 











ES 3.200) NAAENE 
RH AE uin) u(n- 1) win) 
期 望 响应 din) u(n) u(n- M) 
HARE Wa Wy Ws 
Ei RE e(n) fu (a) byin) 
HAAKE R R R 
抽 头 输入 与 期 望 啊 应 之 间 的 互相 关 向 量 p r rt 
BTR Jin Pu Py 


”上 一- 一 一 一 一 


因此 ,使 用 表 中 的 对 应 量 ,可 以 采用 维 纳 - 霍 夫 方程 (2.45) 来 求解 平稳 输入 的 前 向 线性 顶 
测 {FIP) 问 题 ,于 是 有 
Rw; =r (3.9) 
类 似 地 ,使 用 式 (3.8) 和 式 (2.49) ,可 以 得 到 前 向 预测 误差 功率 的 表达 式 , 即 
Py = r(0) — wy (3.10) 


108 自 适应 滤波 器 原理 








从 式 (3.8) 和 式 (3.9) 可 以 看 出 ,前 向 预测 器 与 前 向 预测 误差 功 座 的 好 x 工 抽 头 权 向 量 可 以 疏 
一 地 让 时 刻 0,1,，… 眶 的 输入 的 ( 枚 +1 自 相关 转 数 值 集 台 来 依 定 。 


3.1.1 线性 预测 和 自 回 归 模 型 的 关系 


比较 线性 帮 测 的 维 纲 - 惟 大 方程 43. 史 与 上 且 癌 归 KAH) 模 型 无 尔 - 话 克 方 穆 (1. 抑 ) 可 获得 很 
多 有 用 的 信息 。 首 先 ,我 们 看 到 这 两 个 系统 县 右 同 样 的 数学 形式 。 此 外 ,定义 前 向 预测 误差 平 
均 功 率 ( 即 方差 ) 的 式 (3.10) 与 式 (1.71) 有 相同 的 数 党 形式。 后 者 定义 了 用 来 激励 据 回 归 模 型 
HARREZ. MT ME AR 过程, 我 们 有 如 了 结论 :当前 向 预测 器 在 均 方 演 差 意义 
Aid BI EEN A RAS I Se ET). AA SCT PT REY 
程 与 定义 自 回 归 模 型 的 差分 方程 具有 相同 的 数学 形式 ,因此 得 到 这 样 的 结论 并 不 奇 性 、 当 这 
个 过 程 不 是 自 回 归 时 ,预测 器 的 使 用 提供 了 对 该 过 程 的 一 个 近似 。 


3.1.2 前 向 预测 误差 滤波 器 


图 3.1fa) 的 前 向 预测 器 由 六 个 单位 延迟 单元 和 村 个 抽 头 权 值 Wp, Wra s Wy, m ELAR, AX 
些 抽 头 权 值 的 输 和 分别 为 ztn -lafna-2) an- 及)。 输 出 结果 为 u(n) 的 预 浏 值 , 它 
出 式 人 3.1) 定 义 。 因 此 ,如 将 式 (3.1) 代 人 式 (3.3) ,前 向 预测 误差 可 表示 为 


if 


fuln) = u(n) — D wi u(n — k) (3.11) 


k=1 


令 ayy k= O,b oe, M ZA D RIA R OE DEAR AK AL E PERI I RN AE AR KR RY 








a il k=0 
MA wpe k=i 2., M (3,42) 


国 此 ,可 将 式 (3.11) 右 边 的 两 项 合并 为 单一 的 求 和 形式 
M 
faln) = È tie u(n ~ k) (3.13) 
这 个 输入 输出 关系 用 图 3.1(by 的 横向 滤波 器 来 表示 。 这 种 对 样 值 zfn) en - 1), ula - M) 
进行 运算 ,在 输出 端 产 生前 向 预测 误差 fulna) RR Ud PA TR SE DE ao 
前 向 预测 误差 滤波 器 与 前 向 预测 器 的 关系 如 图 3.1(c) 所 了 示 。 注 意 预 测 误 装 证 波 髓 的 长 
度 比 一 步 预测 器 的 长 度 大 1。 然而 ,这 两 个 预测 器 具有 同样 的 阶 数 M, 因为 它们 用 同样 的 延迟 
单元 存 情 过 去 的 数据 。 
3.1.3 OMMAN E-E 


ope ok ERTE SELT A aM BB BH Sk AN fo (3.10) EA T a e HMR 
率 Py. RAHENA AMARE R 


rf0) r” 1 | | Py 
人 oa 


其 中 0 是 Mx SMB. Mx MKS R.ENG EXT Mx] AK 
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量 r。 在 第 1.3 节 已 经 讨论 过 将 式 (3.14) 左 边 的 (有 H+1) x+1) 相 关 和 矩阵 分 解 为 这 种 形式 
Ware, HERE POM 41) x (OM + DERSTE 3.10b) PRR BA ula) ufro- La, 
ulna- M) ARE RG OAM +1) x1 RBC) EPA a MTR SER iE 


癌 量 , 即 


[4] 


FRAT] te ATG RS. 14) OSE SERRA AM + 1) PRO EHR 
M Py i=0 
San rl =i) = 10M i= 1,2,...,M 


t={) 


式 (3.14) 或 式 (3.16) 称 为 Mi 阶 前 向 预测 误差 滤波 器 的 增 广 维 纳 - 霍 夫 方程 。 
例 1 对 于 一 阶 预测 误差 滤波 器 (及 =1), 由 式 (3.14) 得 到 一 对 联 立 方程 


F o [2] _ ie 
re(1} rO) ayy 0 


解 以 上 方程 a Git ,得 


P, P 
ao = 4 CO) m=- a rl) 
其 中 
BEOR 
â= fat) 全 





= P0) = p 


是 相关 婚 阵 的 行列 式 ,而 ao = l; A 
A, 


r*(1) 
A= 10) aa = ~ 70) 


其 次 ,考虑 二 阶 预 测 误 差 滤 波 器 (于 =2), 由 方程 (3.14) 得 如 下 联 立 方程 


rt0) rt r{2) az P, 

r*(1) (0) ril) ay, |5] 0 

r*(2) 1 r(0) Leaz: 0 
解 以 上 这 个 方程 组 exoyaa1 和 dz 得 


du 二 2 (70) 一 Ir(1}] | 


Steyr) - ry 








m 一 
ma = D - Oro] 


其 中 

r(0) r0) (2) 
rt) AA0) rl1) 
r*(2) r*(1) r(0) 


A, = 








(3.15) 


(3.16) 
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A, 
PO) = [rye 


J = 
2 





预测 误差 滤波 器 系数 为 
(0) = A DAD 
(0) 一 下 
(7*(1)) ~ r{O}e*(2) 
RO) ~ pa? 


34 一 





fi = 


3.2 后 向 线性 预测 


第 3.1 节 考虑 的 线性 预测 形式 叫做 前 向 预测 。 也 就 是 说 ,给 定时 间 序 州 und en - 1), 
sun — M), EHA OM PPAR Buln -1),u(n-2),- 0 2 — MOM a(n EA t 
测 。 这 个 运算 对 应 于 在 时 间 = - 1 HARA AAT RE, RNA RS E 
方向 对 这 个 时 咎 序列 进行 运算 。 也 就 是 说 ,可 利用 M ART Eun), ula- l, 
u(n-M +1) Ae — 型) 进行 预测 。 这 个 运算 对 庶 于 在 时 间 呈 -型 +1 的 后 向 一 步 线性 
预测 。 

SO, BRA ulan) ula- l), ,win 一 肝 +1) 张 成 的 居 维 空间 ,用 它 来 敌后 向 预测 。 使 用 
这 组 样 值 作 为 抽 头 输入 ,做 样 值 utn - 好 ) 的 线性 预测 , 则 有 


M 
üļn 一 M |U) = 2 whauln k +1) (3.17) 





其 中 中 za 为 抽 头 权 值 。 式 (3.17) 的 后 向 预测 器 如 图 3.2(a) 所 示 。 在 与 维 纳 滤波 
器 理论 相 一致 的 均 方 误差 意义 上 假设 这 些 抽 头 权 值 是 最 优 的 。 


在 后 向 预测 情况 下 ,期 望 啊 应 为 
d(n) = un — M) (3,18) 
FF RE bM SFR u(n- 好 ) 与 预测 值 in- MIU A, R 
by{n) = u(n — M) - a(n ~ M |U) (3.19) 
其 中 下 标 M ERARE b, (nr) HE , BPE Te, 
令 
Py = FE[|lbwln) |] 对 所 有 nn (3.20) 


表示 最 小 均 方 误差 。 我 们 亦 可 将 Ps 看 做 集 平均 后 向 预测 误差 功率 ,其 中 假设 b(n) 通 过 1 


欧姆 的 负载 。 
Sw, 表示 图 3.2(a) 中 的 后 向 预测 器 的 玩 x1 最 优 抽 头 权 向 量 。 其 展开 形式 为 


Wy = [wp 1 op. 35. Waa] (3.21) 


为 了 利用 维 纳 - 霍 夫 方 程 求 取 权 向 量 w ,我 们 需要 知道 两 个 量 :(1) 抽 头 输入 a(n) ,un 一 1),…， 
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ulon- M+ D Mx MIRER: (ORA A S R ufa- 时 ) 之 间 的 型 x1 开 相 


关 向 量 。 为 了 得 到 Py RIDE REPA, Buln - MMH. 下面 分 别 考 虑 这 三 个 
&. 


in 一 AE + |} 


atin ~ Mp) 





(b) BHRBRARES 


nin— M+ 1) 





O SEM BAO aT fy PARA ee A SO RRS 


图 3.2 不 同 后 岗 预 测 器 的 示意 图 及 关系 图 
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1) 4 um ERE 3.2{a) 后 向 预测 器 的 Mx 1 抽 法 输入 向 量 ,其 展开 形式 为 
(rz = [u(n), uln = 1)...., ula 一 M + nF (3.22) 
图 3.2(4a) 中 抽 关 输入 的 M x M 相 关 和 矩阵 六 
R = Elu(nju*(n)| 

HH KHER 有 R 的 展开 形式 参见 式 (3.7)。 
2) HHRMA win} ,wtn 一 1 了 ,un 一 各 + 与 期 望 响应 win - MZE M x1 SAR 

BA 

r* = Elu(nju*(n 一 M)] 


r(M ) 
rM — 1) (3.23) 


r{l) 
相关 相 量 的 展开 形式 已 在 式 (3.8) 中 给 出 。 式 中 Y AE FRAG, EEE 
ARSE. 
3) aln- MIRADA r(0). 
表 3.1 HRA OMT 3. 2H. 


因此 ,使 用 表 中 的 对 应 量 , 我 们 可 采用 维 纳 - 霍 夫 方 程 (2.34) 来 求解 平稳 输入 后 向 线性 预 
il) CBLP) H, BY 


Rw, =r” (3.24) 
类 位 地 ,使 用 式 (3.24} 和 式 (2.49) 可 以 得 到 后 向 预测 误差 功率 表达 式 为 
Py = r(0) — rw, (3.25) 


从 而 ,我 们 再 一 次 看 到 后 向 预测 器 Mx 1 和 后 向 预测 误差 功率 Py OM x 1 RR w, 可 
以 惟一 地 由 延迟 为 0,1,..，,; 的 输入 自 相关 函数 值 集 合 来 决定 。 


3.2.1 前 向 与 后 向 预测 器 的 关系 


通过 比较 分 别 属于 前 向 和 后 向 预测 的 式 (3.9) 与 式 (3.24) 两 组 维 纳 - 土 夫 方程 可 以 看 出 ， 

式 (3.24) 与 式 (3.9) 右 边 的 向 量 有 两 点 不 同 :(1) 其 元 素 是 反 向 排列 的 ; (2) EEREN. 
为 了 对 第 一 个 不 同 点 做 出 收 正 ,对 式 (3,24) 右 边 向 量 元 素 的 排列 次 序 进行 反 转 处 理 。 这 个 操 
作 相 当 于 式 (3.34) 的 用 苹 以 R w 代替 而 其 右边 用 r* 代替 ,其 中 及 EKER 及 的 转 置 ,而 
we 是 抽 头 权 向 量 w, 的 反 向 形式 (见习 题 3)}。 于 是 ,我 们 可 以 写 出 

R’wé = r* (3,26) 
为 了 对 第 二 个 不 同 点 做 出 修正 , BEAT (3.26) Pe A SE, AAS By 

R'wh =r 
Pee REAR KES RODS R” = 及 的 维 纳 -ERTEN 

Rw? =r (3.27) 
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比较 式 (3,27) 和 式 (3.9), 妇 得 后 向 汗 测 涡 与 对 应 的 前 向 预测 内 之 间 的 基本 关 茶 
Wh = we (3.28) 
Th (3.28) A8 , wah Bee ANS EL Pt Ae SE i, I TL E e a dP. 
AK RTE Sa a OP Ree), A, BSB rw = 
r wii 于是, 式 (3.25) 可 重 写 为 
Py = r(0) —r wh (3.29) 
WH AW Hee Py 和 (0) 均 不 受 这 个 操作 的 影响 (因为 它们 都 是 实 值 的 标 
基 ) ,我 们 得 到 
Py = ri0) 一 Fw (3.30) 
将 这 个 结果 与 式 (3.10) 比 较 , 并 利用 式 (3.28) 的 等 价 性 ,我 们 发 现 : 后 向 预 调 误差 功率 与 前 向 
预测 误差 功率 具有 完全 相同 的 值 。 实 际 上 ,这 个 等 式 是 可 以 预料 的 ,以 致 于 我 们 可 使 用 同一 符 
号 Py 表示 这 两 个 量 。 但 要 注意 ,这 个 等 式 仅 对 广义 平稳 过 程 线性 预测 才 成 立 。 


3.2.2 反 向 预测 误差 滤波 器 


Se ERB u(n),u(a-1),-,u(n—-M+1), 后 向 预测 误差 b(n) 等 于 期 望 响应 wtn 一 村 ) 
与 其 线性 预测 值 之 差 。 该 预测 由 式 (3,17) 定 六 。 因 此 ,将 式 (3.17) 代 入 式 (3.19) ,我 们 得 到 





M 
by(n) = ula — M) = A weil Zk +1) (3.31) 


JURIE E MRSE A i MR EE AAE A 





Gik” n : E e = (3.32) 
因此 ,可 将 式 (3.31) 重 写 为 [ 见 图 3.2¢b) | 
M 
buln) = D ch, ula 一 大) (3.33) 


. k 
式 (3.28) 定 义 了 后 向 预测 器 抽 头 权 向 量 与 前 向 预测 器 担 头 权 向 量 之 间 的 关系 ,该 关系 的 
标量 表达 式 为 
Wh M-k+l = Wr k &=1,2,...,M 
或 等 价 地 
Wy k = WF Mk k = 1,2,..., M (3.34) 
因此 ,将 式 (3.34) 和 代入 式 (3.32) ,可 得 


-wtu &=0,1,..,M—1 
c= Oo (3,35) 


二 是 ,利用 前 向 预测 误差 滤波 器 与 前 向 预测 器 抽 头 权 值 之 间 的 关系 ,可 以 写 出 
CMR 一 One Mk k = 0, 1,...,M (3.36) 
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相应 地 , a m FO E Ba EPA a ER, HE ERRERA 
M 
buyln) = MM — k) (3.37) 


式 (3.37) 的 输入 输出 关系 如 图 3.2Xc) 所 小 。 通过 比较 图 3.2(e)( 后 向 预测 误差 滤波 器 表示 ) 
与 图 3.1(b)( 相 应 的 前 向 预测 误差 滤波 器 表示 ) 可 见 : 对 平稳 输 人 而 序 .这 两 种 形式 的 预测 误差 滤 
波 器 是 彼此 惟一 相关 的 。 特 别 地 ,通过 到 转 抽 头 权 值 序列 并 对 其 取 复 数 共 瑟 ,可 将 前 向 预测 误 郑 
滤波 器 变 成 对 应 的 后 向 预测 误差 滤波 器 。 注 意 ,在 这 两 幅 图 中 ,各 个 抽 头 输 人 其 有 相同 的 值 。 


3.2.3 后 向 预测 的 增 广 维 纳 -EBEXAE 
后 向 预测 的 维 纳 - 获 夫 方程 由 式 (3.24) 定 义 , 式 (3.25) 定 义 了 后 向 预测 误差 功率 。 我 们 可 


合并 这 两 个 方程 为 单一 关系 
roy} Lt Py ae) 


其 中 0 是 Mx See. Mx MEERE Mx SAS ol OES TER 
ABA AFEK Romi R37) 2 行 所 示 的 展开 形式 。 好 xl 向 量 亚 * eS 
输入 向 量 与 期 望 响应 u(n- 好 ) 的 互相 关 向 量 。 这 里 再 一 次 看 到 ,所 假设 的 输入 过 程 的 广义 平 
稳 性 意味 着 向 量 > 具有 式 (3.8) 第 2 行 所 示 的 展开 形式 。 式 (3.38) AWM + 1) x Ct + 1) 
阵 等 于 图 3.2(e} 中 后 向 预测 误差 滤波 器 摧 头 输 人 uln) 的 相关 和 矩阵 。 第 1.3 节 介 绍 了 如 何 将 
这 个 CM+1) x+i) 答 阵 分 解 为 式 (3.38) 的 形式 。 

我 们 也 可 以 将 式 (3.38) 的 矩阵 关系 表示 为 M x1 SRE 


Sai A ae (3.39) 
oa AM MoI py i=M . 


式 (3.38) 或 式 (3.39) 称 为 寻 阶 后 向 预测 误差 滤波 器 的 增 广 维 纳 - 管 夫 方程 。 

注意 ,在 式 (3.38) 所 定义 的 增 广 维 纳 - 霍 夫 方 程 的 矩阵 形式 中 , 抽 头 输入 的 相关 怎 阵 与 相 
应 的 式 (3.14) 中 的 抽 头 输 和 人 相关 和 矩阵 相同 。 这 只 不 过 是 重申 如 下 事实 :图 3.2(e) 的 后 向 预测 
误差 滤波 器 的 (m + 1) x 1 抽 头 输入 与 图 3.1{(b) 的 前 向 预测 误 莽 试 波 齿 的 抽 头 输入 完全 相同 。 


3.3 列 文 森 - 杜 宾 算 法 


现在 通过 求解 增 广 维 纳 - 雷 夫 方程 来 描述 一 种 计算 预测 误差 滤波 器 系数 和 预测 误差 功率 的 
直接 方法 。 该 方法 在 本 上 质 上 是 递归 的 ,而 且 具 体 利 用 了 滤波 器 抽 头 输入 的 相关 秆 阵 的 托 伯 利 效 
结构 。 这 种 思想 由 Levinson( 1947) 首先 使 用 ,后 为 Durbin(1960) 重 新 独立 表述 , 故 称 为 列 文 森 - 柱 
宾 (Levinson-Durbin) 算 法 。 这 个 方法 利用 阶 巴 测 误差 滤波 髓 的 增 广 维 纳 - 埠 夫 方程 的 解 来 计算 相 
应 的 阶 ( 即 高 一 阶 ) 预 测 误差 滤波 器 的 解 。 阶 数 m = 1,2,... M HER M 为 滤波 器 的 最 终 阶 数 。 
列 文 森 - 杜 宾 算 法 的 主要 优点 是 其 计算 效率 ,因为 与 标准 的 算法 如 高 斯 消去 法 (Makhoul,1975) 相 
比 ,该 算法 的 使 用 导致 运算 (乘法 和 除法 ) 和 量 和 存储 空间 的 大 大 节约 。 为 了 导出 列 文 森 . 杜 宾 递 扒 
方法 ,我 们 以 巧妙 的 方式 使 用 前 向 和 后 向 预测 矩阵 表示 (Burg, 1968,1975)。 

令 (m+1)x1 向 量 表示 a。 阶 前 向 预测 误差 滤波 器 的 (mm+1) x 1 抽 头 权 向 量 。 对 应 a, 
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AIE Tal SM Bee EAB AB AS Come + 1) x 1 抽 头 权 问 量 可 通 对 元 素 的 石 向 排列 和 复 共 罗 得 到 ,这 两 
BAIN AIPA af” Zens, W mx | 向量 a1 与 aw“ 分别 表 孙 m -1 阶 前 向 和 后 向 预测 
误差 滤波 内 对 应 的 抽 头 权 向 量 .. 列 文 森 - 杜 宾 弟 推 可 用 下 而 两 种 等 效 方 式 之 一 来 表述 : 
1) 前 向 预测 误差 滤波 器 的 手头 权 问 量 的 更 新 方程 为 


RES Am 1 a 0 
m 0 Ko abe | (3.40) 


其 中 er ETHER. AEA EREE A 

m,i = m-l H K milh- lm- i= 0, 1, ce ME (3.41? 
式 中 ani kèm BA MIR E E A a AA A es 也 做 同样 处 理 。 
Olan Em- i RENARE AMRAH. TER EAGANP anio 


A S =0. 


2) Ja RAE E E RAU E RO EA 


B 0 +j fm- 
amw =| am ta 0 (3.42) 
其 标量 形式 为 


Amm- = ah- mn + Kham- l= 0, I; rary FFT (3,43) 
其 中 ana E m 阶 后 向 预测 误差 滤波 器 第 ! 个 抽 头 权 值 ,其 他 符号 的 定义 如 前 所 述 。 
列 文 森 - 杜 宾 递 推 通常 可 用 前 向 预测 的 向 量 形 式 [ 见 式 43.40)j 或 标量 形式 [ 见 起 43.417 
来 表示 ,也 可 以 用 式 (3.42) 中 的 后 向 预测 的 向 量 形式 或 式 (3.43) 中 的 标量 形式 表 小 。 它 们 可 


通过 反 向 重 排 和 复 共 垢 的 组 合 ,分 别 从 式 (3.4) 或 式 (3.41) 直 接 得 出 (见习 题 8)。 
为 了 确定 常数 x, 必须 满足 的 条 件 议 证 明 列 文 森 - 杜 宾 算法 和 的 有 效 性 ,我 们 将 算法 分 为 外 


个 阶段 ， 
1) 式 {3., 各 ) 两 边 苹 以 R, ,Lm 阶 前 向 预测 误差 滤波 器 中 抽 头 输入 wtn), u(n-1),..., 
uin- mlm +41) x (n+ IEE], FR MIRO OAM, RITA 


ak = a (3.44) 


其 中 P, 是 前 向 预测 误差 功率 ,0, 是 m x1 Se. RK, MOn 中 的 下 标 表 示 它 们 的 维 


Ala, AP, 中 的 下 标 表 示 预 测 阶 数 。 
2) 对 于 式 (3.40) 右 边 的 第 一 项 ,使 用 相关 和 矩阵 R,,1( 见 第 1.3 节 ) 的 如 下 分 块 形式 


R, re 
Resi = o a 


其 中 ,有 EMKA uln), uln-1),.. un- m +1) 的 mxm HARER ra 是 抽 
头 输 人 与 ulna- mm) 的 互相 关 向 量 。 故 可 写 出 
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J | 
rar O 0 
_ | Rete | 
E ra An 
m -1 Brae EMR E ERa A EAN EK EY 
Raami = Ha (3.46) 





5 
3 
Z 
ma 
& 
全 


(3.45) 


0,,-1 
其 中 Pp, SERRA ee 0, (mm - 1) xl Sle. Fi, hit 
Amat = Fh an 
_ (3.47) 
= Sell- mam 


i=0 


4G5R (3.46) AFR (3.47) RAK 45), a4 


a pa 
Rms =" =| b, (3.48) 
0 Am 
3) 对 于 式 (3.40) 右 边 的 第 二 项 ,采用 相关 和 矩阵 及 .的 如 十 分 块 形式 


r(Q) rë 
Re = | R | 


其 中 及 SSA u(n-L),u(n-2),...,a(n- mK mx m RER, r, 是 抽 头 
输入 与 x(n) 的 互相 关 占 量 。 于 是 可 以 写 出 


0. | | r(0) ri 0 
Raal go | ~ | lon | ‘ae | 


E [rint l (3.49) 
~ | R, 82s, 
该 标量 
ales = Stk ahi ns 
k=l 
m-l 
= EU- masa (3.50) 
i=0 
= Am-i 
此 外 ,下 < 1 BE RAR EA BRAN 
Race) = kal (3.51) 


Hest (3.50) FIZK(3. SI) ALAT3.49), TS 


Am-) 
0 
Rail ge | = pa (3.52) 
m Pr- 
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4) 总 结 1) ,2).3) 阶 段 的 结果 。 特 别 虹 ,应 用 式 (3. 和 4). 式 {3.48)., 式 (3., 纺 ), 我 们 可 以 看 
出 , 式 人 .4) 两 边 堪 弱 议 相关 和 托 阵 及 ,得 到 


P Pn Si) AR- 
la 一 On -1 十 Kin 1 (3.53} 
5 Au- Tati 


因此 ,我 们 得 出 结论 :如 果 式 (3.40) 的 阶 更 新 递 推 成 立 , 则 式 (3.53) 所 述 结果 是 该 递 推 的 
直接 结果 ， 相 反 地 ,如 果 应 用 式 (3.53) 所 述 条 件 , 则 可 用 式 (3.40) 进 行 前 向 预测 误差 滤波 器 抽 
FAR] BOE. 

ABET (3.53), FRAT ih LAB ET: 


D 通过 考虑 式 (3.53) 两 边 中 同 量 的 第 一 个 元 素 ,我 们 有 


Pa = Pig tor tg ei (3,54) 
2) 通过 考虑 式 (3.53) 两 边 中 向 基 的 最 后 一 个 元 素 ,我 们 有 
0 = Ami + Km Pm- (3.55) 
由 式 (3.55), 可 得 到 如 下 常数 
Km = 一 an (3.56) 
BOP A st (3.47) EI ER (3.54) IK (3.55) PIE A _1 ,可 得 到 预测 误 
差 功率 的 阶 更 新 关系 
Py = Pull — |e!) (3.57) 


随 着 预测 误差 滤波 器 阶 数 m 的 增 大 ,对 应 的 预测 误差 功率 Pa 减 小 或 者 保 村 不 变 。 当 然 ， 
Pa 不 可 能 是 负 的 ;因此 ,总 有 
O<P,< Prai m > 1 (3.58) 


对 于 零 阶 预测 误差 滤波 器 这 个 基本 情况 ,自然 有 
Po = r(0} 
其 中 (OHSAS AK. 
从 m=0 开 始 ,依次 增加 滤波 器 的 阶 数 ,通过 反复 应 用 式 (3.57) ,我 们 可 以 得 到 阶 WY 预测 
误差 滤波 器 的 预测 误差 功率 为 


M 
a RTIG ~ fed (3.59) 


3.3.1 P k, MAn PRE 


参数 e Uama MEILE- ERRESA , 称 为 反射 系数 。 该 术语 的 使 用 来 
源 于 式 {3,57) 与 传输 线 理 论 的 相似 性 ,其 中 传输 线 理 论 中 的 ev 可 看 做 具有 不 同 特征 阻抗 的 两 
部 分 之 间 界 面 上 的 反射 系数 。 注 意 , 对 应 于 式 (3.58) 的 反射 系数 的 条 件 为 
te igl 对 所 有 m 
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由 式 (3.41) 可 见 , 对 于 m AARE RIRA «, 等 于 滤波 器 最 后 一 个 抽 头 权 植 
fmm » Bll 


Km ~ Amm 


MER A WA. EA RE fan) SEK AVS ANRE balal) 
之 间 的 互相 关 。 特 别 地 ,可 以 写 出 (见习 题 9) 
Am = Flb, ln — fA ala] (3.60) 
其 中 .i(n) 是 对 应 于 抽 头 输入 为 gfnyyatn -lugn- 下 +Hi) 的 下 -1 阶 前 向 预测 误差 
滤波 器 的 输出 ,号 la- DERM PRA un - l) ulna - 2), ulan- mm) om — 1 ft 
fa EMRE EE ee a th A EIR A GERN 1). 
应 注意 到 


fHn) = baln) = utr) 
其 中 ulna EA n 预测 误差 滤波 器 的 输入 。 上 故 由 式 (3.60) 可 见 ,互相 关 参 数 具 有 和 零 阶 值 
Ay = Elbo(n E Fn 
= Elu{n — 1)u*(n)] 
= r*(1) 
其 中 {1) 晨 延迟 为 1 MA eR. 
3.3.2 反射 系数 与 偏 相关 系数 的 关系 
前 向 预测 误差 f,_1(n) 与 反 向 预测 误差 bai Cn — 1) A 9 AE ( PARCOR, partial corela- 
tion) AAGE SL A ( Makhoul , 1977) 
gait Elbm-iln ~ Dft) 
"O 《E[ — UP TET ated PY? 





(3.61) 
根据 这 个 定义 ,我 们 有 
lon tt 对 所 有 m 
on 的 上 界 易 由 柯 西 - 施 迈 茨 不 等 式 ( Cauchy-Schwarz ineguality) 得 出 。 对 于 现 有 问题 ,结果 为 9 
Elba et — DFS < Elllbm tn — DPEN F] 
使 用 式 (3.56) 和 式 {3.60) ,可 将 第 m 个 反射 系数 表示 为 


DO PERNAR] a iA h h WRR- EA 
N z X A 
| Saute] < APAA 





用 期 望 取代 求 和 可 得 
JE, b? Elan! ILE Pal] 
在 式 (3.61) 中 , 令 ay = foi 62) Oy = baila- 1) TS PERRIS |p | El 
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Pileta Dirala 
P 


mol 





Kop — 


(3.62) 


根据 式 人 .4) 和 式 13.20) ,可 以 写 出 
Pai = Elf (mn) = Efon- tn — DP] 


因此 ,通过 比较 式 (3.61) 和 式 {3.92) 可 以 大 出 ,反对 系数 x 是 PARCOR 偏 相 关系 数 p。 的 负 
煞 。 然而 ,这 个 关系 仅仅 在 广义 平息 条 件 下 上 成立。 也 就 是 说 ,对 于 一 个 给 定 的 预测 误 益 ,仅仅 
当前 癌 预测 误差 切 率 与 所 描述 的 后 向 预测 痊 关切 率 相 等 岂 , 沪 关系 才 成 立 ， 


3.3.3 列 文 森 - 杜 宾 算 法 的 应 用 


使 用 痢 文 森 - 杜 宾 算 法 计算 预测 误差 滤波 加 系数 ay, ,大 = 0.1,… :明和 预测 阶 数 为 最 的 
预测 误差 功率 Py ,有 了 商 种 可 能 的 方式 : 


) 假设 我 们 已 经 知道 输入 过 程 的 自 相 关 函 数 的 明确 信息 ,并 没 (0) CM 
表示 延迟 为 0,1,-… M 的 自 机 关 冰 数 , 例如 ,这 些 参 数 在 偏 估 计 的 计算 可 利用 妞 下 时 
间 平 均 公 式 

r(k) =n) Š eur n= kl k=0,1....,M (3.63) 


其 中 Ns M ARTPRICE. AK, ERT BO, (ce 
怎样 ,给 定 rO ra) e CM), AFR 3.47) ARO. SPAAR AL AP. i% 
归 计 算 的 初始 条 件 为 m=0, 此 时 Py = (0). = 六 (1)。 注 意 , 对 于 所 有 的 ma, = 1, 
a,,=O0(k>m), H m= MiA. 通过 这 种 方法 得 色 的 预测 误差 滤波 器 系数 和 
预测 误差 功率 的 由 计 称 为 睫 尔 -沃克 估计 。 

2) 假设 知道 反射 系数 cl ,x ar MARAR (0), MPR - 杜 宾 算法 的 第 二 
个 应 用 ,我 们 仅 需 知道 如 下 关系 


= * Zs 
Bin k = Am.k T Kma m-l, m—k k= 0,1, i 


和 
hs = Paill > lel) 
其 中 ,递归 计算 的 初始 化 和 算法 终止 判 则 同上 。 


例 2 为 了 说 明 如 何 应 用 列 文 森 - 杜 宾 算 法 的 第 二 个 方法 ,假设 给 定 反 射 系数 ki ,ma ,ks 和 平均 
功率 P,。 我 们 希望 解决 的 问题 是 ,使 用 该 些 参数 决定 对 应 的 抽 头 权 征 ay), 052,033 


T AZL RARO DHARA ATAA EHET: H k ARTERE N H, ERARE 
Ck RL BCS R Box & Jenkins, 1976)。 对 于 自 相 关 函 数 rk) EREA, 可 采用 McWhorter A 
Schaf 1995) 894 ORE, ORAS ARR TO, Fee a eR OE Ee A, PRR 
特 特 性 sk dy See mL 1 et, WARD oo ROT Be et uÉ De un 有 一 个 等 
= ple? RD(e~*) PYAR ERE, RU eA it E Ut el AE A, FE) Det) = diag 于 (wf)) 为 调制 第 阵 , Wee?) = 
[le pe eer TF, 
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3 阶 预 测 误 善 滤波 器 的 预测 误差 功率 P,。 应 用 由 式 (3. 由 ) 和 式 (3.57) 所 述 的 列 文 森 - 杜 宾 
递 推 ,可 产生 如 下 结果 ， 
1. RAA m = 1 的 预测 误差 滤波 器 


ajy=l 


ayy 一 其 
和 
R= Pl 一 le 站 


2. 阶 数 于 =2 的 预测 误差 滤波 器 


Aia = 1, 

= 下 
Ti = K] + KDA] 
3 T 


和 
Py = nll 一 Ap 


其 中 P 是 作为 对 m=1 RX, 
3. 阶 数 加 =3 的 预测 误差 滤波 器 
zg = 1 
3) = Ay, + KÏ 
43,9 = Ky 十 Ka; 


i33 = K3 


和 
B= 有 1 -| 


其 中 ,az 和 P, 是 作为 对 m=2 HLH, 


从 这 个 例子 可 见 , 列 文 森 - 杜 宾 递 推 不 仅 得 到 了 抽 头 权 值 和 阶 数 为 村 的 预测 误差 滤波 器 
的 预测 误差 功率 ,还 分 别 给 出 了 阶 数 为 MM -1,… ,1 时 预测 误差 滤波 器 参数 的 相应 值 。 


3.3.4 反 向 列 文 森 - 杜 宾 算 法 


如 例 2 所 示 , 列 文 森 - 杜 宾 递 推 的 正常 应 用 中 ,给 定 一 组 反射 系数 tes ea xn ,要 求 是 : 
计算 最 终 阶 数 为 对 的 预测 误差 滤波 器 对 应 的 一 组 抽 头 权 值 awis auas h auu 当然 ,余下 
的 滤波 器 系数 ayo = 1。 但 是 ,人 们 往往 需要 解决 如 下 道 问 题 :给 定 抽 头 权 值 yy, Gyr 
ux.#; 求 相应 的 反射 系数 ey yy ot eyo 对 于 这 样 一 个 道 问题 ,可 通过 应 用 列 文 酚 - 杜 宾 算法 
的 反 向 形式 来 解决 。 

为 了 推导 反 向 递 推 ,首先 合并 式 (3.41) 和 式 (3.43){ 它 们 分 别 表示 前 向 和 后 向 预测 误差 滤 
波 器 的 标量 形式 ) 为 矩阵 形式 


Bink 1 ee | ] 
= k = 0,1,...,/n 3.64 
EA 民 ee (3.64) 
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其 中 阶 数 m=1,2,… ,NW。 izle, 1 <1 并 解 式 (3.64) ,可 得 
amk 一 Bin mt k 
Hm ik 一 => k= a, l,....m (3.45) 
t- | an on 
这 里 利用 了 关系 式 : x。 = tem 现在 ,我 们 可 以 描述 这 个 过 程 :从 抽 头 权 值 集 为 faw l AI M Er 
项 调 误 差 滤 疙 器 出 发 ,使 用 式 (3. 的 ) 的 反 向 递 推 ,从 于 = 形 ,M -1 依次 计算 对 应 的 型 - 1， 
-2,…,1 阶 预测 误差 滤波 器 的 抽 头 权 值 。 节 后 , 当 求 出 所 有 抽 头 权 值 后 ,利用 
Kin = nm n= MLM —1,..., i 

得 到 相应 的 反射 系数 集合 Kairot. 例 3 给 出 它 的 一 个 应 用 。 
例 3 假设 给 定 三 阶 预 测 误 差 滤 波 器 抽 头 权 值 a)1 ,a432;q33; 要 求 计算 相应 的 反射 系数 c, 

K2sK3o 对 于 下 =3,2, 使 用 式 (3.65) 的 反 疝 递 推 ,得 到 如 下 的 抽 头 权 值 : 


1) 对 于 二 阶 预 测 误差 滤波 器 [对 应 于 式 (3.65) 中 mm=3] 


E 
431 T Gy 3845 
21 一 ay 
1- Jasal 
Aa. ~ 44343; 
di 


l- lazai 


2) 对 于 一 阶 预 测 误差 滤波 串 [ 对 应 于 式 (3.65) 中 下 =2] 
Ga1 一 ay 783, 


üi = 
1 — lezat 


其 中 maf 022 与 二 阶 滤波 器 定 义 一 样 。 因此 ,反射 系 载 为 
Ky 二 da 
Ka = 人 了 


Ki = äi 


这 里 4 3 给 定 7 aa 和 al 通过 计算 得 到 D 


3.4 预测 误差 滤波 器 的 性 质 


性 质 1: 自 相关 函数 和 反射 系数 的 关系 

通常 ,平稳 时 间 序 列 的 二 阶 统计 量 用 自 相 关 函 数 或 者 功率 谱 表 示 。 这 个 自 相 关 孙 数 和 功 
率 谱 组 成 离散 人 博 里 叶 变 换 对 !( 见 第 1 章 )。 另 一 个 措 述 平稳 时 间 序 列 的 二 阶 统计 量 方法 是 使 用 
Pei 其 中 Po = rf0) 是 零 延 迟 自 相 关 畏 数 ,elxaz， EM 阶 预 渊 误差 滤 波 器 
的 反射 系数 。 其 重要 意义 在 于 : Pat ,wy 人 可 以 惟一 确定 自 相 关 隙 数 7 0),r(1),…， 
riM) REZ abe a 
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为 了 证 明 这 个 性 质 , 首 先 消去 式 (3.47) 和 式 (3.55) 之 间 的 A。, ,从 而 得 到 
Sent 一 M) = —km Pn_1 (3.66) 
对 于 r(m) =r”(-m), 解 式 (3.66) ,并 利用 a,.1,o=1, 可 得 
rm) = Pe SD oem = k) (3.67) 


这 就 是 所 期 望 的 递 推 关 系 。 若 给 定 集合 (0), ey, ons, xw 则 通过 使 用 式 (3.67) 以 及 
列 文 森 - 杜 宾 递 推 方程 式 (3.41) 和 方程 式 (3.57) ,可 递归 地 产生 相应 的 集合 (0) ,Tr(1),…,r(M)。 

对 于 1x。 | 专 1, 由 式 (3.67) 可 知 ,r(m) (延迟 为 m 的 输入 信号 的 自 相 关 函 数值 ) 的 允许 区 
域 是 以 复数 值 


m-i 
= S at yr(m =k} 
k=l 
为 圆心 ,以 Pa ,为 半径 的 圆 的 内 部 (包括 圆周 ) ,如 图 3.3 所 示 。 


Im[r(m)] 


m~1 
Im 之 n-i krim — k) 
=] 





0 AA! Re [r(m)] 
nel S am- krim 一 o! 
k=) 


图 3.3 rl(m) 的 允许 区 域 由 灰色 区 域 表 示 ( xls) 


假设 给 定 自 相关 函数 值 集合 r(1) ,r(2),…,r( 好 ), 则 可 通过 如 下 关系 递归 地 产生 对 应 的 

反射 系数 x, ,x，,… PI 
‘oa = Saar(k 一 m) (3.68) 
m-l k=0 

由 求解 式 (3,66) 得 到 。 在 式 (3.68) 中 ,假设 P。, 不 为 0。 若 P=0, 则 1x-11=1, 反 射 系数 
序列 ki ,x2，… ,Kw-1 的 计算 就 终止 。 

因此 ,我 们 可 做 如 下 表述 : 

在 | Poy tty sx2s ty Hei (0). (Do r (MBARESA AARRE 

给 定 一 个 , 则 可 用 递归 方式 惟一 地 确定 另 一 个 。 
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例 4 E Px) ,Kr 和 ,要 求 计算 rt0) ,rt1) ,rt2) 和 (3)。 从 m=1 开始 ,由 式 (3.67) 
得 到 
rl) = -Pf 
其 中 
Fy = r(0) 
对 于 m=2, HA(3.67) FR 
r(2) = ~A] — r(l}sf 
其 中 
P = Al = lal’) 
对 于 m=3, 由 式 (3.67) 得 到 
r(3) = —Pxd — [a¥ir(2) + «$r(1)] 
其 中 
P, = R0 — lel) 
和 
api = K1 + xan? 
性 质 2:; 前 向 预测 误差 滤波 器 的 转移 函数 
令 Hna RR m 阶 前 向 预测 误差 滤波 器 的 转移 耳 数 ,其 脉冲 响应 由 za.4 = 001,05 
SEM 4 区 = 六 时 如 图 3.1(b) 所 示 。 根 据 离散 时 间 ( 数 字 ) 信 号 处 理 可 知 , 离 散 时 间 滤 波 器 转 
移 函 数 等 于 其 对 应 的 脉 神 响 应 的 z 变换 , 即 


H; (2) = D amaz" (3.69) 





其 中 z 是 复 变量 。 基 于 列 文 森 - 杜 宾 递 推 , 特 别 是 式 (3.41) ,我 们 可 得 到 m 阶 滤波 器 系数 与 对 
应 的 mm -1 阶 ( 即 小 一 阶 ) 预 测 误差 滤波 器 系数 之 间 的 关系 。 特 别 地 ,即将 式 (3.41) 代 人 式 
{3.9) 中 ,我 们 得 到 


Ms 


mMm 
Hi mlz) = Daha?" + kh D Am-m 
k=0 


3 * 
i h 
= 3 


m-1 (3.70) 

ST > Gen iset 
k=D k=0 

其 中 ,在 第 二 行 利用 了 a... =0. 序列 gCk=0,1,…,m 一 1) 定 义 了 区-1 阶 前 向 沪 测 误 

差 滤波 器 的 脉冲 网 应 。 因 此 ,可 以 瑟 出 


m=] 
Hyp maz) = D ahit" (3.71) 
k=0 


序列 ce te ee Os leom- 1T m-1 GTI al RR EE A m = M 
时 ,如 图 3.2(ej 所 示 。 式 (3.70) 右 边 第 二 个 求 和 项 表示 这 个 后 向 预测 误差 滤波 器 的 转移 函数 。 
A H ，1(z) 表 示 该 转移 函数 ， 即 
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mi 
Hy mi(Z) = mt (3.72) 


将 式 (3.71) 和 式 (3.72) 代 入 式 (3.70), 则 可 写 出 
Hy mhz) = Hi,m-1(2) + Kmz Hb. m—1(2) (3.73) 
以 式 (3.73) 的 阶 更 新 递 推 关系 式 为 基础 ,我 们 可 表述 如 下 ; 
给 定 反射 系数 k, 和 砚 -1 阶 前 向 和 反 向 预测 误差 滤波 器 的 转移 函数 , 则 可 惟一 地 确定 相 
应 的 m 阶 前 向 预测 误差 滤波 器 的 转移 函数 。 
性 质 3: 前 向 预测 误差 滤波 器 是 最 小 相位 的 
在 z 平面 单位 圆 (1z| =1) 上 ,我 们 发 现 
|Hym—1(Z}| = [Hsm] lal = 1 
通过 在 式 (3.71) 和 式 (3.72) 中 令 z= exp(jw), -rr<owsr 很 容易 证 明 上 式 。 假 设 对 所 有 m, 
反射 系数 e Bele} < 1。 则 可 发 现 , 在 z 平面 单位 图 上 , 式 (3.73) 右 边 第 2 项 满足 如 下 条 
件 
KZ lH m (2) < (Homil) = (Him) lal=1 (3.74) 
这 时 ,有 必要 回忆 一 下 复 变 函数 论 中 多 切 (Rouch6) 定 理 , 该 定理 表述 如 下 ， 
[ 罗 切 定 理 ] RAK F(z) 和 GUAE z FnM RA hR RAR CAE A R A R, A 
ry BACLIF(s)1>16(z)1, MECH AR, F(z) 与 F(z) + CCz) 有 相同 的 零点 个 
数 。( 详 见 附录 A) 
通常 , 闭 曲 线 @ 沿 逆 时 针 方 向 , 则 该 闭 曲 线 所 国 成 的 区 域 位 于 它 的 左边 ,如 图 3.4 所 示 。 


如 果 函 数 在 @ 及 吧 围 成 的 区 域内 部 处 处 连续 可 导 ,我 们 就 说 函数 在 @ 及 % 畦 成 的 区 域内 部 是 解 
析 的 。 如 果 满 足 这 个 条 件 ,函数 在 6 上 或 & 畏 成 的 区 城内 部 没有 极点 。 





HMR FR 





图 3.4 SP pp EE Ay te) AAT a RO Be Le YS 
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设 闭 曲线 为 = 平 面 的 单位 圆 , 且 沿 顺 时 针 方 向 ,如 图 3.5 所 示 。 则 根据 上 述 内 容 , 这 个 假 
设 意味 着 闭 曲 线 % 所 围 成 的 区 域 可 用 该 单位 圆 外 区 域 来 表示 。 


今 


F(z) = Hy m-1{2) (3.75) 
和 
人 (3.76) 
我 们 观察 到 如 下 现象 : 
e 函数 F(z) 和 G(z) 在 图 3.5 所 定义 的 闭 曲 线 9 的 内 部 没有 极点 。 事 实 上 ,在 这 个 闭 曲线 
所 国 成 的 区 域内 ,它们 具有 连续 导数 。 因 此 ,F(z) 和 6(z) 在 单位 图 上 及 其 外 部 处 处 


解析 。 
@ 由 式 (3.74) 和 |x,1 < 1 可知, 在 单位 加 上 |1F(z)| > Gl) 


因此 ,就 图 3.5 单位 圆 所 定义 的 闭 曲 线 旬 而 言 ,分 别 由 式 (3.75) 和 式 (3.76) 所 定义 的 函数 F(z) 
和 G(z) 满 足 罗 切 定理 的 所 有 条 件 。 

假设 已 知 Hye (2) AT F(x) 在 z 平 面 单位 圆 外 没有 零点 , 则 应 用 罗 切 定 理 可 知 ， 
F(z) + G(z) 或 等 价 地 所 ,。(z) 在 单位 图 上 或 单位 圆 外 部 没有 零点 。 





3.5 洛 顺 时 针 方向 的 单位 圆 作为 闲 曲线 吧 


特别 是 对 于 m = 0, 转 移 函 数 H.。(z) 为 恒 等 于 1 的 常数 ;因此 , 它 没 有 零点 。 利 用 以 上 的 
推导 可 知 , 既 然 Hy (2) FEAL SNR ASS Ell <1 条 件 下 , 天,,(z) 在 这 个 区 域 也 没有 寺 
点 。 事 实 上 ,很 容易 证 明 这 个 结果 ,只 须 注意 到 

H, 1(z) = año + ağız! 
一 1 十 KZ 
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BUM Hal HEr -x 有 一 -个 单 专 点 ,在 z= 有 -个 极点 。 当 1el<1l 时 ,这 个 零点 一 定位 
PAMBA: Me, o ERMA RAMA AS, ERO, AB ei <1, 
W Hol FETE Re FP BAS 

于 是 ,现在 可 做 如 下 表述 : 

对 于 所 有 m,m 阶 前 向 预测 误差 滤波 器 传输 还 千 Hi ,lz) 在 z RB RH AE 

点 , 当 且 仅 当 反射 系数 满足 |x,| <1 时 捞 自 话说 ,对 于 某 一 给 定 的 幅度 响应 ,车 一 个 前 

向 预测 误 善 滤波 器 对 单位 国 上 z 的 所 有 可 能 取 值 具有 最 小 相位 响应 ;在 这 个 意义 上 ,我 们 

就 说 它 是 最 小 相位 的 。 

性 质 4: 后 向 预测 误差 滤波 器 是 最 大 相位 的 

回 和 阶 后 向 和 前 向 预测 误差 滤波 器 的 转移 函数 是 相关 的 ,由 为 给 定 一 个 ,就 可 以 惟一 地 确定 
另 一 个 。 为 了 寻找 这 种 关系 ,我 们 首先 估计 m BAT a Ae E E A E HAE RR (2), 
好 如 下 函数 [ 见 式 (3.69)] 

HE = Damal z* y z (3.77) 

用 z PRHE: 的 倒数 取代 z, 上 式 可 重 写 为 


1 m 
ity 2% 2m KZ 


H m — & BR 1 
Ht, (4) = e$ an a a (3.78) 
上 式 右 边 求 和 项 组 成 m 阶 后 向 预测 误差 滤波 器 的 转移 函数 , 即 
Ay m{Z = $ an pae (3.79) 


FAW, Ae (2) 与 A (IMR A 
Hy miz} = Zt a =| (3.80) 


其 中 A} (z ) 通 过 取 A, (2) SE A 2” 的 倒数 取代 z 得 到 。 式 (3.80) 表 明 ,用 这 个 
方法 得 到 的 新 函数 乘 以 z“ , 即 得 员 ,。( z), 即 相应 的 后 向 预测 误差 滤波 器 的 转移 函数 。 
设 传 答 函数 怠 ,。(z) 用 其 分 解 形 式 表 示 为 


Hy AZ) = TIa gr) (3.81) 
rl 
Sts ,i =1,2,…,m 表示 前 向 预测 误差 滤波 器 的 零点 。 因 此 ,将 式 (3.81) 代 入 式 43.80) ,可 
用 分 解 形式 将 后 向 预测 误差 滤波 器 表示 为 


(3.82) 
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该 函数 的 零点 位 于 11z7 = 1.2.0, ma 即 后 向 利 前 向 预测 误差 请 沙 器 的 零点 在 单位 圆 上 起 
EEHAJ H m = 1 ef, HILAR ER 3.6 所 示 。 前 问 预 测 误 着 滤波 占 具 有 和 零点 
z= -e ;如 图 3.6(a) 所 示 ; 而 后 问 预 测 误 差 滤 流 器 具有 零点 z = - 1xl, 如 图 3.6(b) 所 示 。 
图 3.6 的 两 由 图 中 都 假设 反射 系数 x BRL. Ale | < 1 对 所 有 m), 帮 后 向 预测 误差 
滤波 器 的 所 有 零点 位 于 z 半 面 单位 加 的 外 部 。 

因此 ,我 们 有 如 下 表述 ; 

对 于 某 一 给 定 的 幅度 响应 ,如 果 反 向 预测 误 盖 滤波 器 对 单位 较 上 z 的 所 有 可 能 取 值 具有 

最 大 相位 响应 ,我 们 就 说 该 泪 波 回 是 最 大 相位 的 。 





图 3.6 {a) 前 向 预测 误差 滤波 器 在 z = - of 处 的 零点 ; 
{b} 后 向 预测 误差 滤波 器 在 z = -Ux 处 的 对 应 塞 点 


性 质 5:; 前 向 预测 误差 滤波 器 是 白化 滤波 咒 
出 定义 可 知 , 白 噪声 过 程 由 一 系列 不 相关 的 随机 变量 组 成 。 因 此 , 如 说 这 个 过 程 用 y(n) 
fem, EE 0 DA of , 则 可 写 出 ( 见 第 1.5 节 ) 


a k=n 


Elv(k)r*(n)| = | pale (3.83) 

由 于 过 程 在 时 刻 a DRS AB - 1 时刻 {包括 n - 1 时刻 ) 访 过程 的 所 有 过 去 值 无 关 
(实际 上 , 它 也 与 该 过 程 的 所 有 未 来 值 无 关 ) ,在 这 个 意义 上 ,我 们 说 白 噪 声 是 不 可 预测 的 。 

于 是 ,我 们 可 以 鼻 述 预测 误差 让 波 器 的 另 一 个 重要 特性 ; 

如 果 滤 波 器 阶 数 足 恕 高 ,预测 误差 漠 波 器 能 够 白化 加 到 其 输入 端的 平稳 离散 随机 过 程 。 

本 质 上 ,预测 依赖 于 输入 过 程 相 邻 样 值 间 存在 的 相关 性 。 其 含义 是 :如 果 增 加 预测 误差 滤 
波 器 阶 数 , 则 可 连续 减 小 输入 过 程 相 邻 样 值 癌 的 相关 性 ,直到 最 终 到 达 某 一 个 点 。 往 该 处 滤波 
器 具有 足够 高 的 阶 数 ,以 便 产 生 由 一 系列 不 相关 样 值 组 成 的 输出 过 程 。 从 而 完成 了 加 到 滤波 
器 输入 端的 原 过 程 的 白化 。 
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EA 6: MOMAR WB EY FG (De 
Bi [a] FR aU RE ee SEA ERIR A Pb SR SE PSG A FACE BE LR FE AEF 
征 向 量 有 关 。 为 了 推导 这 种 表示 ,首先 用 复数 形式 重 写 M BA Ree EA 
- 震 夫 方程 (3.14) 为 
Ryan = Puly (3.84) 
其 中 Rw, 是 图 3.1(b) 中 抽 头 输入 Cajun- l)o, ulan- MJCM 4+ 1) x (CM + 1) RE 
OE ay, 是 滤波 右 的 (+ 1) x 1 拙 涉 权 向 量 ,标量 Py EMRE, M +1) x iy, PR 
为 第 一 坐标 向 量 ,其 第 一 个 元 素 为 1, 其 他 均 为 0， 这 个 回 量 可 写 为 
ine) = [1,0,...,0] (3.85) 
Xt ay 求解 式 (3.84) .可 得 
ay 一 PyRysiinss (3.86) 
AF RY. EKER Ry, Wit. HARM Rw, | 的 特征 值 -特征 癌 基 表示 , 可 将 矩阵 
Ra, | 表示 为 ( 见 附录 E) 
Rain = QAQ" (3.87) 
其 中 A AHA RM Rw, 的 特征 值 组 成 的 (上 + 1)x (M+ LE, Q 是 
(M+1) x (M+ 1) 算 阵 , 它 的 列 所 对 应 的 特征 向 量 , 邑 
A = diag[Ag. Ay,.-- Au] (3.88) 





和 
Q = [qo, qi,.…, qm] 《3.89) 
HO AG. Ast Ay 是 相关 矩阵 Ry, SERGE A. gh gw 所 对 应 的 特征 向 量 。 将 式 
(3.87) . 式 (3. 台 ) 和 式 (3.89) 代 人 式 (3.86) ,得 到 
ay = PrQA Qin 


qi || 1 
faj 
. | .- 一 qi 
= Pulgo, Qi ++» qu] diag[Aa', A's... AM] : (3.90) 
aJo 














HF, qo EKER Ry. OS k REDRE- AIR. ESSA WR E 
第 一 个 元 素 av 为 1; 故 由 式 (3.90) 可 知 ,预测 误差 功率 为 
1 
Py = M 


> [qo Az! 
i 


(3.91) 


因此 ,在 式 (3.90) 和 式 (3.91) 的 基础 上 ,我 们 有 如 下 结论 : 
村 阶 前 向 预测 误 盖 滤波 器 的 抽 头 权 向 量 及 所 产生 的 预测 误差 功率 可 由 滤波 器 抽 藉 输入 
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相关 矩阵 的 (1 + AIERT M+ LEER, 
3.5 舒 尔 -科恩 测试 


如 果 已 知 相关 的 反射 系数 c ey , 则 第 3.4 节 中 性 质 3 的 好 阶 前 向 预测 误差 最 小 
相位 条 件 的 检验 是 相当 简单 适用 的 . 对 于 其 转移 晴 数 癌 .,(z), 所 有 零点 均 在 单位 圆 内 的 最 
小 相位 滤波 器 ,可 简单 地 要 求 ; 对 及 有 mm, | x, | < 1。 假 设 除 了 已 知 反 射 系数 外 ,还 给 定 滤波 区 
的 抽 涉 权 值 avi awat aw.w。 在 这 种 情况 下 ,首先 可 利用 反 符 递 推 [参见 式 (3.65) 1 计算 出 
反射 系数 ee ky ,然后 对 所 有 的 mm, 检查 |x,1<1 EER- 

刚刚 描述 的 方法 ,是 在 给 定 系 数 cy Gasto ay ATO K ME HW, WERE 
单位 圆 内 。 这 种 方法 本 质 上 相同 于 舒 尔 -科恩 (Schur-Cohn) 测 试 吕 ; 

为 了 表示 舒 尔 - 科 恩 检 测 , 令 





1 


Xz) = üy MZ” + dmm | to + amo (3.92) 
它 是 a 的 多 项 式 ,其 中 x(0) = Oy = l» 定义 
‘Czy = gM x*(]/z* 

afz) = 2 x*(1/z*) ay 


= Oem + ah wiz to + aay gz 


该 式 为 x{#) 的 倒序 多 项 式 (reciprocal polynomial), HA x’ (2) WAP a (2S RI. 
z=0 时 ,有 x (0) ayn 共 次 ,特别 地 ,定义 其 线性 组 合 


T[x{z)] = a@hyox(z) ~ am, mx'(z) (3.94) 
使 得 如 下 值 
T[x(0)] see am, mY (9) (3.95) 
为 实数 。 注 意 Talol PA A 项 。 如 果 我 们 定义 
TL x(z)| = TIT '[x(z)]} (3.96) 


而 且 尽 可 能 地 重复 这 个 运算 , 则 将 生成 降序 的 z 的 有 限 多 项 式 序列 ,其 中 系数 ano H lo HR 
H: 
1) x{z) 的 包 项 式 在 单位 大 上 无 零点 
2) m 为 满足 下 式 的 最 小 者 
T%x(z)|=0 其 中 mM+] 


则 可 将 舒 尔 - 科 因 定理 描述 如 下 (Lehmer, 1961); 


[ 舒 尔 -科恩 定理 ] 和 如果 对 于 某 个 i1<iem),T'[x(0)] <0 成 立 ,那么 x(z) 在 单位 图 内 
至 消 有 一 个 零点 。 如 果 对 于 1<i<m, 有 Tifxf0)]>0 且 TxD] Aia, BAK 


D 即 典 的 后 尔 -科恩 测试 是 由 Maden MF Tiettert 1976) S689, ARRENE] Sehur(1917) 和 Cohn( 1922) ,因此 也 就 
有 了 这 个 各 字 。 千 尔 - 科 轧 测试 也 称 为 Lehmer-Schur{ Ralston,1965) 方 法 ,由 于 Lehmer( 1961) 4 AT Schur 理论 而 得 省 。 
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单位 加 内 没有 零点。 


为 了 应 用 该 定理 判断 , 当 anor PAGSISID P r HEHREN AERE AE 
点 。 我 们 进行 如 下 十 作 (Ralston, 1965): 


1) 计算 Talol Æ Tl ETAM. HAR, MERARI EA, m 
行 下 一 步 。 

2) 计算 Pl a(z)},i=1,2,-°, HEA] T [x0] <0Ci< m) T'e] >i mm). 如果 
前 者 发 生 ATE A ARES eR EEL T" "| x(z)] 为 一 常数 ， 
出 在 单位 圆 内 不 存在 零点 ， 


注意 : 当 x(z) 在 单位 图 内 存在 鹤 戌 时 ,该 算法 并 术 告 诉 堆 点 的 个 数 ,而 仅仅 证 实 它 的 存 


在 。 通 过 观测 { 见 习题 10) 可 以 发 现 , 舒 尔 - 科 轩 方法 与 后 辣 递归 算法 之 间 存 在 如 下 联系 : 
1) x{z) 与 几 阶 后 向 陡 测 误差 滤波 器 转移 孙 数 之 问 具有 如 下 关系 
x(z) = 2H), ylz) (3.97) 
EE, WU SRS OR - P ae x 2 EMA SAH PRE PES UGS EE 
ROH, ul O AO) 
2) 倒序 多 项 式 *(z) 与 相关 的 M TERA RASA AUF RA 
x'(z) = 2"Hp az) (3.98) 


EE , SP AR - RS i Ag v (RARE oe ESATA AS N 
可 得 出 传输 函数 yg e EBA 


3) 一 般 地 ,有 
1 一 
T{x(0)] z iit 二 lau- wil) lsi EM (3,99) 
和 
zZ"T' [klz] si 
pM -lz) = TL (0) | A 


其 中 Hy ya) M- i Bra e E EE ae HH fe BR 


3.6 平稳 随机 过 程 的 自 回归 建 模 


平稳 离散 时 间 随 机 过 程 的 前 向 预测 滤波 器 的 白化 特性 和 该 过 程 的 自 回归 建 模 有 着 密切 的 
关系 。 事 实 上 ,从 图 3.7 中 可 以 看 出 ,二 者 是 互补 的 。 图 3.7 (a) 表 示 M 阶 前 向 预测 滤波 器 ， 
13.7 (b) 表 示 相 应 的 自 回归 模型 。 我 们 有 下 面 两 个 观察 结果 。 

1) 可 把 用 于 平稳 过 程 u(n) 的 预测 误差 滤波 运算 看 做 一 种 分 析 运 算 。 特 别 地 ,通过 选择 

阶 数 M 足够 大 的 预测 误差 滤波 器 ,可 把 这 种 分 析 运 算 用 于 白化 utn) 过 程 。 在 这 种 情 
况 下 ,滤波 器 输出 端的 预测 误差 过 程 fy (nn) 包含 不 相关 的 样 值 。 一 号 这 个 惟一 性 条 件 
获得 满足 , 原 随机 过 程 x( = ) 可 用 滤波 器 抽 头 权 值 | aw :ji 和 预测 误差 功率 Pu RAW 
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2) 可 把 平稳 过 程 uO MAMAS aH AR. PM ,我 们 可 将 零 均 值 .方差 
A a, ARR vin EAE A HERE AR BR mao MAAA ula- 1)， 
enuia- M) AT k= 1,2,-, MHAR ER AR 过 程 u{n)。 该 模型 的 输出 
Lid u(n) 就 是 其 输入 的 M Pat AEBN ulat) ee - MIKEN, A mii 
型 取 和 名 为 自 回 妇 模 型 . 


图 3.7 中 的 两 种 滤波 器 结构 组 成 了 一 个 匹配 对 ,其 系数 具有 如 下 关系 


M + 
=F ay. gun — k) 
k-0 





u(a — M +1) 


© uin — M) 


(b) BEA 【全 报 点 ) 模 型 , 当 1.2... MN waa. BA Y A ARE 


图 3.7 对 阶 前 向 预测 滤波 器 及 其 相应 的 丘 回 归 模 型 


132 RX RRB 





dag T Wat k= 1,2,...,M 


A 


图 3.7) PG be ae a ae J RA BR ke Se ER a A A m, FELIZ. 7b) 
AR BBY PoE dk — TBA PRK A a PL 3.7 (a) 中 预测 误差 滤波 
ae A Be a ie, AS BS pe BE AER] 3.7 (Cb) HAER Bee BS RAR AR OS E — Pe 
CE z 平 面 中 的 单位 圆 内 )。 在 有 界 输 入 -有 界 和 输出 意 头 上 ,和 它 保 证 了 逆 泪 波 回 的 稳定 性 ,或 者 
LPR UE T AIBE a Oh ne RY AR 过 程 的 渐进 平稳 性 。 
前 向 项 测 误差 盖 波 与 昌 回 归 建 模 之 间 的 数学 等 效 性 的 实际 应 用 基于 如 下 方式 :假设 我 们 
有 一 个 M 阶 自 回 归 过 程 ,该 过 程 的 回归 系数 是 未 知 的 。 在 这 种 情况 下 ,可 有 几 自 适应 线性 滤波 
来 估计 回归 系数 。 线 性 预测 器 自 适应 算法 或 碳 测 误差 滤波 器 的 设计 在 以 后 的 章节 由 讨论 。 


3.6.1 自 回归 和 最 大 灶 功 率 谱 的 等 价 性 


前 向 预测 误差 滤波 和 自 呵 归 建 模 之 间 数 学 等 价 性 的 另 一 方法 体现 在 参数 法 功率 谱 估 计 
(parametric power spectrum estimation) 中 。 为 了 解决 这 个 问题 ,首先 考虑 图 3.7(b) 的 AR 模型 。 
模型 输入 端 vn SE PER ABA ao 的 白 噪声 。 通 过 模型 输入 v(n) 的 功率 谱 密 度 利 模 
型 的 幅度 响应 的 平方 相 羔 , 即 得 模型 输出 端 牛 成 的 AR 过 程 u(n) 的 功率 谱 窗 度 ( 参 考 第 1 
章 )。 用 Srle) Fen utn) 的 功率 谱 , 则 可 写 出 











了 
F 


M 2 
L- >i whe 
ei 


上 上 式 称 为 自 回 归功 率 谱 (antoregressive power spectrum) BQ (a) PR AR TH. DERA FRAME 
(MEM, maximum entropy method) 得 到 。 假设 给 定 一 个 广义 平稳 过 程 (1) 5 BARRY 2M + 1 
值 。 最 大 炳 方法 的 实质 就 是 确定 这 个 过 程 的 功率 谱 , 该 过 程 对 应 于 最 具 随 机 性 的 时 间 序 列 , 其 
自 相 闫 函数 与 已 知 的 2M +1 个 自 相关 函数 值 相 一 致 (Burg,1968,1975}。 这 样 得 到 的 结果 称 为 
最 太 炳 功率 谱 ,或 简称 MEM 谱 , 并 用 Sule) 表示 该 功率 谱 。5Siemtw) 的 定义 与 时 阶 预测 误 
差 恋 波 器 的 特性 相 联 系 , 即 


T 





Sar(@) = (3.101) 


Py 


M 7 
1+ Zafe te 
k=] 





SvEm(w) = (3.102) 


其 中 ay ;表示 预测 误差 滤波 器 系数 , Py 表示 预测 误差 功率 ,所 有 这 些 都 对 应 于 M 阶 预 测 。 由 
于 图 3.7(a) 了 预测 误差 滤波 髓 与 图 3.7(b) 中 AR 模型 的 一 一 对 应 关系 ,我 们 有 
ay x = Wor k= 1,2,...,M (3.103) 
和 
Pu = or (3.104) 
Aue G3. 10D ATR MAEHE, AE, Er PRE A F, AR 谱 ( 对 
于 M 阶 模型 ) 和 MEM 谱 ( 对 于 M 阶 预测 ) 实 际 上 是 等 价 的 (Van den Bos, 1971). 
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3.7 Cholesky 分 解 


考虑 一 组 阶 数 为 0 到 M 且 并 行 连接 的 预测 误差 滤波 器 ,如 图 3.8 所 示 。 这 些 滤波 器 由 同 
一 个 输入 信号 uln) 激 励 。 注 意 ,在 零 阶 预测 误差 的 情况 下 , 它 是 直通 的 ,如 图 3.8 顶端 所 示 。 
令 Bo(n) ,DCn),… ,by(n) 表 示 由 这 些 滤 滤器 产生 的 后 向 预测 误差 序列 , 则 可 根据 滤波 右 各 
自 的 输入 与 系数 表示 这 些 误差 如 下 
b(n) = uln) 


b(n) = ay ula) + ay outa — 1) 
b(n) = aulan) + ag jut — 1) + aguin — 2) 


py(n) 三 ag min} 十 ding pian 一 1) +e 十 twouln 一 M) 
将 村 +1 个 线性 联 立 方程 组 合成 更 紧凑 的 矩阵 形式 ,有 
b(n} = Luíz) (3.105) 
其 中 


是 一 个 ( +1)x1 输 大 向量 ; 

h(n) = [bo(n), b(a), -bula f 
bln) 是 一 个 ( 几 M+1)x1 后 向 预测 误差 输出 向 量 。 而 式 (3.105) 右 边 ( 村 + 1) x (M+ DRA 
PEPE BTS M 阶 后 向 预测 误差 渡 波 器 系数 定义 为 


1 0 > 0 
a 1 > 0 

L=| oP | (3.106) 
AMM AMM-1 `U 1 


bata) 





btn 






utn) 





3.8 BM OF 民 的 并 行 连接 的 后 向 预测 误差 滤波 器 
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E LRA MTF 一 个 有 用 的 特性 ， 

1) EE LE- -个 主 对 角 系 数 篆 为 ] BY TARE ,在 主 对 角 上 面 的 所 有 元 素 缘 为 吕 。 

2) EE LIS + 1, 因 此 它 是 非 奇 异 的 ， 

3) T Meee HEE L 中 每 一 行 的 非 零 系 数 等 于 后 向 预测 误 益 滤 波 器 的 权 值 ,该 后 向 

预测 误 善 王波 器 的 阶 数 对 应 于 该 行 在 些 阵 中 的 位 置 ， 

基于 式 (3.105) 的 算法 称 为 Gram-Schmidt 正 交 化 算法 由， 根据 该 算法 , ER AY uo nA 
后 向 预测 误差 向 量 bt n) 之 间 存 在 着 一 一 对 应 关系 。 特 别 地 , 纵 定 ula) ,通过 式 (3.105) 即 得 
b(n), BRA bla) ,通过 式 (3,105) 求 逆 运 算 ,就 可 得 到 对 应 的 向 量 ol). BD 

fn) = LL b(n) (3.107) 

HEt LEER LAE, 
3.7.1 预测 误差 的 正 交 性 


组 成 向 量 b(n) 的 后 向 预测 误差 bln), h (an), bw《n) 有 一 个 重要 特性 ;它们 互相 正 
%, BA 


f= m 


Elb, nbn)] = 他 (3.108) 


im 
为 了 推导 这 个 性 质 , 我 们 进行 如 下 工作 :首先 , 涉 和 失 一 般 性 。 假 设 mei DR BA un), 
将 后 向 预测 误差 b, (Cn) Ra RASA 
bin) = Daan ~ k) (3.109) 
ETHAN i 代替 六 外 ,其 他 和 式 (3.37)-- 样 。 用 这 个 关系 计算 5 (2)B"(n) 的 期 望 ,得 
本 bu 本 (9] = Blain) D ataula = K) (3.110) 
根据 正 交 性 原理 ,有 
Elb,nattn — kK)|=0 OgkEm-l1 {3.111) 
对 于 m> i Mogis i 两 种 情况 ,我 们 发 现 , 式 (3.110) 右 边 的 所 有 期 望都 等 于 0。 相 应 地 ， 
E[8,,(n)b¥ (n}| = 0 mei 


Y m=i, 303.110) Bl EA 
Elbn(n)b*(n)| = El balaban] 
=P, m=1 
从 而 ,得 到 式 (3.108)。 然 而 ,必须 注意 到 , 它 仅 适用 于 广 广 平稳 输入 数据 。 
于 是 ,我 们 看 到 ,由 式 (3.105) 给 出 的 Gram-Schmidt 正 交 化 算法 ,把 包含 相关 样 值 的 输入 向 





中 ”对 于 Ca-Schmi 由 算法 点 其 改进 方法 的 详细 实现 参见 Havkin( 19894) 
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量 u(n) 变 换 为 等 效 的 不 相关 的 后 向 预测 误差 向 量 b(n)*。 


3.7.2 相关 和 矩阵 R 的 逆 和 矩阵 的 分 解 


有 了 后 向 预测 误差 相互 正 交 这 一 重要 性 质 后 ,我 们 画 到 式 13.105) 的 Gram-Schmidt 正 交 化 
算法 所 描述 的 变换 ， 特 别 地 ,使 用 这 个 变换 , 即 可 依照 得 和 向量 ut n) 的 相关 矩阵 把 后 向 预测 
误差 回 量 M nm) 的 相关 矩阵 表 相 为 

E[b(n)b“(n}] = £[Lu(njn4 {aL | 
= LE[u(nju?(n)|L4 (3.112) 
令 
D = E[b(n)b"(n)| (3.113) 
表示 后 向 预测 误差 向 量 bn OS. SORT AR RBA un ARE, TE, 
式 (3.112) 可 重 写 为 
D = LRL” (3.114) 
至 此 ,我 们 可 得 到 两 个 结论 ， 
1) 当 输 入 向 量 mu(n) 的 相关 矩阵 R 是 正定 的 且 其 道 矩 阵 存 在 时 , 则 后 向 预测 误差 向 量 
b(n) ASE D EEEREN, ENERE EHAE. 
2) 由 于 b(n) 包 含 的 元 素 相互 正 交 , 故 相关 和 矩阵 D 为 对 角 阵 。 特 别 地 ,我 们 可 把 DD 表示 为 





D = diag (BD, P,..., Par) (3.115) 
其 中 P, 就 是 后 向 预测 误差 5.{n) 的 平均 功率 , 即 
P= EI] i=0,1,....M (3.116) 
D ma hd — TOT SP Bp 
D- = diag(Po', PT ..., Px) (3.117) 
因此 ,可 用 式 (3.114) 把 相关 矩阵 R AR Rea 
R” = LDL 


= (DL) D/L) (3. 118) 


这 就 是 我 们 所 要 的 结果 。 
式 (3.118) 第 一 行 中 的 道 年 阵 D-' 是 由 式 (3.117) 定 义 的 对 角 和 矩阵 。 式 (3.118) 第 二 行 中 的 
DSR DAFA. CENIE, SEXI 
Do? = diag(Po!”, PP,- Par?) 


式 (3.118) 中 所 表示 的 变换 称 为 道 矩 阵 R H) Cholesky 分 解 。 应 注意 到 ,矩阵 D IL 是 一 个 不 


他 ”两 个 随机 变量 了 和 了 是 王 交 的 条 忻 为 E[ XY" ] =0, 不 是 正 交 的 条 件 为 EUX- ELX] - EL 了 I)* ]=0. MÆ 
X ,中 的 一 个 或 全 部 具有 零 均 值 ,那么 这 两 个 条 件 就 是 一 样 的 。 对 于 上 面 的 讨论 ,输入 数据 ,后 向 预测 误差 事假 设 


为 霍光 值 。 在 这 个 假设 下 , 正 变 和 不 相关 是 等 价 的 。 
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同 于 式 (3.106) 的 下 一 角 和 矩阵 工 , 亲 为 此 好 对 舱 元 素 不 等 十 1， 同时 也 应 注意 到 , 埃 尔 米 特 转 置 
‘aR (CD 22E 7 是 一 个 上 三 角 年 阵 , 其 对 角 元 素 也 不 等 于 1。 因 此 ,根据 Cholesky 分 解 , 道 相 关 
矩阵 及 :可 分 解 为 一 个 上 三 角 和 矩阵 和 一 个 下 三 骨 和 矩阵 之 积 , 二 者 互 为 埃 尔 米 特 转 置 。 


3.8 AMNA 


为 了 实现 式 (3.105) 的 Gram-Schmidt FE. REJEA KEA RA E E un) EA 
不 相关 后 向 预测 误差 样 值 组 成 的 等 效 向 量 btn), 可 采用 直接 路 径 与 合适 数量 后 向 预测 误差 滤 
波 器 并 联 的 方法 ,如 图 3.8 Bon, MEn ARE un ERA RRM EMES 
价 的 (见习 题 21)。 然 而 , 实现 该 算法 的 男 一 种 有 效 得 儿 的 方法 是 采用 形 如 梯 状 的 阶 递归 结 
构 , 称 为 格 型 预测 器 (lattice predictor)。 该 系统 把 阁 十 前 向 和 后 向 预测 误 凑 滤波 运算 整合 成 单 
一 结构 。 具 体 来 说 ,一 个 格 型 预测 器 是 一 些 基本 单元 (级 ) 的 级 联 。 所 有 基本 单元 具有 类 似 于 
格 型 的 结构 , 故 取 名 为 格 型 预测 费 。 因 此 ,对 于 m 阶 的 预测 误差 滤 恋 器 ,在 该 滤波 器 格 型 实现 
中 有 mo 


3.8.1 用 于 预测 误差 的 阶 更 新 递归 关系 


一 个 格 卉 预测 器 的 输入 输出 关系 可 用 不 同 的 方法 导出 ,取决 于 列 文 森 - 杜 宾 算 法 使 用 的 特 
殊 形式 。 根 据 此 处 介绍 的 推导 ,我 们 将 从 式 (3.40} 和 式 (3.42)( 分 别 表 示 一 个 预测 误差 滤波 器 
的 前 向 和 后 向 运算 ) 给 出 的 算法 矩阵 分 解 形式 出 发 进行 讨论 。 为 了 表述 方便 , 重 写 这 两 个 关系 


式 如 人 下 
_ | am- 4 0 
Hm = 0 Km aže, (3.119} 


0 a 
By, = 十 % m-l 
am Pa al 0 | (3.120} 


(m+1)xl lia, 和 m x1] 向量 a 4848 m BA m - 1 GA REE. Cm +1) x1 
向 量 a®- 和 mx1 HE a® OBB mbm -1 阶 后 向 预测 误差 滤波 器 。 标 量 x。 与 反射 
系数 有 关 。 

首先 考虑 m 阶 前 向 预测 误差 沥 波 器 ,其 输入 记 为 zfn) ,n(n 一 上,… ,wln 一 杉 )。 RIE 
该 滤波 器 的 (m+ 1) x 1 抽 头 输入 向 重山 ,,,(n) 写 为 如 下 形式 





或 其 等 价 形式 
Dri(72) = [| (3,122) 


其 次 ,用 a, UR OE BASE u (Cn em + 1) x 1 la, 与 向 车 ,ln) 的 内 积 。 
因此 ,利用 式 (3.119) ,对 a, 我 们 可 对 这 个 乘法 得 到 的 各 项 结果 处 理 如 下 : 


1) 对 于 式 (3.119) 左 边 ,用 aw A n (na) 得 到 
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Jalin) = An t+ (2) (3, 123} 
其 中 fp OR m BATE SO ER ee BS Aa CL OT fe) PTR, 
2) 对 于 式 {3.119) 右 这 的 第 一 项 ,利用 式 (3.121) 给 出 的 wa) 的 分 块 形 式 , 有 


[as i Ojunr = [ays | a | 
= An nt) 
一 fin) 
FHF fao ORR m- 1 阶 前 向 预测 误差 滤波 器 输出 的 前 向 预测 误差 。 
3) 对 于 式 (3.119) 右 边 第 二 个 矩阵 项 ,利用 式 (3.122} 纵 出 的 ,1(n}) 的 分 块 形式 ,可 写 出 


(3,124) 





[0 fa aie) = [0 i ant |] many J 
= af upin = 1) 
= þm- — 1) 
H b(n - DER m-1 阶 后 向 预测 误差 湾 波 囊 输 出 延 记 后 的 后 向 预测 误 蔗 。 
组 合式 (3.123)] R03. 124) . 式 (3.125) 的 结果 ,可 得 
aln) = fila) E gi bm it — 1) (3.126) 
下 面 ,考虑 m 阶 后 向 预测 误差 滤波 器 ,其 输入 记 为 utn) ,ufn-1),…,u(n- mio IX, 
我 们 再 一 次 把 该 滤波 器 的 {m+ 1) x 1 抽 头 输 人 人 向量 ,1(n) 写 成 式 (3,121) 或 式 (3.122) 的 分 
块 形 式 。 在 这 种 情况 下 ,有 如 下 类 似 于 前 向 预测 滤波 的 辣 果 ， 
1) 对 于 式 (3.120) 左 边 ,用 ab RR KREBS una Cn), 18 
baln) = af unl) (3,127) 
pn) 为 次 阶 后 向 预测 误差 滤波 器 输出 的 后 向 预测 误差 。 
2) 对 于 式 (3.120) 右 按 的 第 一 项 ,利用 式 (3.122) 给 出 的 un 的 分 块 形式 。 该 项 的 埃 
PRK BL onin) ,得 到 


[o | age = [o i age | 
= ač unin — 1} 
= br-itn — 1) 
3) 对 于 式 {3.120) 右 边 的 第 二 个 矩阵 项 ,利用 式 (3.,121) 给 出 的 tn) 的 分 块 形式 。 该 
项 的 埃 和 尔 米 特 转 置 磁 以 ,1(n) ,得 到 


[jw = [af | of] 
= ap- 1 Um ( 7) 
= fa-1(n) 
Hisk (3,127), 30(3.128) , 式 (3.129) 组 全 在 一 起 , 可 得 如 下 结果 


(3.125) 


(3.128) 


(3.129) 
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balti) = Byn {n T 1) + Kfm (a) (3.130) 
式 (3.126) 和 式 (3.130) 就 是 我 们 所 要 寻找 的 对 阶 重 新 递归 关系 (order-update recursions) 。 
ERE m 级 格 型 预测 器 ,其 笛 阵 形式 为 


Mead la eo] rare etn 
我 们 可 把 baln- 1 看 做 将 单位 延迟 算 子 z :作用 于 后 同 预测 误 益 和 na) 的 结果 , 即 
by, s(t 1) = z [bn IO (3.132) 
因此 ,利用 式 (3,131) 和 式 {3.132) ,可 用 图 3.9(3) 所 示 的 信号 流 图 表示 第 m RT. OR 
了 用 方块 记号 表示 的 :' 外 ,这 个 信号 流 图 看 起 来 很 像 个 网 格 ,因此 取 和 名 为 格 型 预测 2。 注 意 ， 
格 型 预测 的 第 m 级 参数 仅 由 反射 系数 «x, 决定。 
对 于 m= 的 情况 ,有 以 下 初始 条 件 
fol) = bola) = uin) (3.133) 
其 中 u(n SERA n 的 输入 信号 。 因 此 ,从 0 JP aR He ae Pe E a 0 BT. BEI 1, 则 可 得 到 
图 3.9(b) 所 描述 的 M 阶 预测 误差 滤波 如 的 一 个 等 价格 型 模型 。 在 这 幅 图 中 ,我 们 仪 仪 要 求知 
道 反射 系数 完备 集 x ,x ，… ,wy ,一 个 系数 对 应 于 滤波 器 的 一 级 。 
图 3.9(b) 给 出 的 格 型 滤波 器 具有 如 下 吸引 人 的 特点 : 
D 对 于 局 时 生成 前 向 和 后 向 预测 误差 序 刻 来 说 , 格 型 滤波 器 是 一 种 高 效 的 结构 ， 
2) 各 级 格 型 滤波 器 是 相互 “ 解 艳 和 的”"。 这 个 解 看 特性 实际 上 可 由 第 3.7 节 得 到 。 在 该 处 
已 经 证 明 ,对 于 广义 平稳 输入 ,各 级 格 形 预 测 器 产生 的 后 向 预测 误差 彼此 * 正 交 ”。 
3) 格 型 滤波 器 在 结构 上 是 模块 化 的 ;因此 ,如 果 需 要 增加 预测 器 的 阶 数 , 仅 需 增加 一 级 或 
多 级 而 不 影响 以 前 的 计算 。 
4 格 型 预测 器 的 所 有 级 都 有 相似 的 结构 ;因此 ,这 样 的 预测 器 夕 适 合 超大 规模 集成 
(VLSI, very large scale integration) 实 现 ,这 十 分 有 益 于 许多 感 兴趣 的 应 用 。 

















3.9 全 极点 、 全 通 格 型 滤波 器 
图 3.9(b) 记 示 的 多 级 格 型 预测 器 把 两 种 全 零点 预测 误差 滤波 器 组 合成 一 个 单一 结构 。 
特别 地 ,利用 第 3.4 节 中 介绍 的 预测 误差 滤波 器 的 性 质 3 和 性 质 4, 我 们 可 作 如 下 表述 : 


@ 从 公共 输入 u(n) 到 前 向 预测 误差 yn) 的 电路 是 一 个 最 小 相位 全 零点 滤波 器 。 
@ 从 公共 输入 u(n) 到 后 向 预 沽 误差 如 (a) 的 电路 基 一 个 最 大 相位 全 零点 滤波 器 。 





Œ hakua 和 Saito 首先 把 格 型 滤波 器 应 用 于 请 音 分 析 领 域 中 的 一 维 信号 处 理 。 等 效 的 格 型 尖 波 器 慌 型 和 地 理 优 号 处 
理 中 的 分 层 地 球 模型 很 相像 。 锐 有 趣味 的 是 ,这 种 格 型 滤波 器 在 网 络 理论 ,特别 是 在 多 端口 网 络 级 联 综合 中 得 到 
深入 研究 。 
实际 上 ,线性 预测 项 还 有 一 种 基于 Schur 算法 的 结 移 。 类 似 于 列 文 森 - 村 宾 算 法 ,Schur 算法 提供 了 一 种 利用 已 知 的 
自 相关 系列 计算 反射 系数 的 方法 。Schur 算法 便于 并 行 实现 ,因此 可 获得 比 列 文 森 - 杜 宾 算 法 更 商 的 敬 据 在 吐 率 。 
关于 Sehur 算 法 的 讨论 ,包括 它 的 数学 绝 节 和 实现 考虑 ,参见 Haykin( 1989). 
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图 3,9(b}) 所 示 的 多 级 覆 刑 预测 器 可 重组 为 全 极点 ,全 通 结合 的 格 型 滤波 器 。 为 此 ,我 们 
首先 安排 式 (3.,126) 的 各 个 项 ,从 而 得 到 
fmn) = fuln) bmitn 1 (3.134) 
fain) faln) 






Pay th) 


(a) ie i A 


fie) 





Fer) Jain) 








(b>) MERAN REBR ET) 
图 3.9 ARAA 


其 中 ,前 向 预测 误差 上 fn) 现 被 作为 重组 的 格 型 滤波 器 的 第 m 级 输入 变量 。 为 了 便于 表示 ， 
重 写 式 (3.130) 如 下 
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bnln) a by, 和 1) T Km fn_i{H) (3.135) 


式 (3.134) 和 式 (3.135) 定 多 了 重组 的 格 型 滤波 融 第 m RAH KR FAL, 03. 133) 
始 化 条 件 对 应 于 阶 数 m = 0, 依 次 增加 滤波 器 的 险 数 .将 得 到 重组 的 格 型 滤波 器 结构 ,如 图 
3.10 所 示 。 然 而 ,注意 到 图 3.10 中 公共 终端 产生 的 uw(n) 是 输出 信号 ,而 在 图 3.9(b) 中 它 是 作 
为 输入 信和 号。 同样 ,在 图 3.10 中 (nn) 作为 输入 信号 ,而 在 图 3.9(b) 中 人 作为 输出 信号。 

为 了 激励 图 3.10 所 示 的 多 级 格 型 滤波 器 ,到 自白 噪声 vn) 的 抽样 序列 被 用 做 输入 信号 
An)。 图 3.10 中 从 输入 (Cn) 到 输出 ww(n) 的 电路 构成 了 于 阶 全 极点 滤波 器 。 因 此 ,根据 
第 3.6 节 关于 平稳 随机 过 程 自 轨 归 建 模 的 讨论 ,我 们 把 这 种 全 极点 站 波 器 看 做 综合 器 ,而 把 图 
3.8 久 中 相应 的 全 零点 格 型 预测 峪 视 为 分 析 般 。 

后 向 预测 误差 b(n) 和 构成 图 3.10 滤波 器 的 第 二 个 输出 。 从 和 输入 fy (SU by, Cn 9 
电路 构成 一 个 M 阶 全 通 滤 波 上 器 。 滤 波 器 极点 和 零点 相对 于 z 平面 单位 圆 互 为 倒数 (见习 题 
18)。 于 是 ,图 3.10 中 重组 的 多 级 格 型 滤波 器 将 全 极点 滤波 带 和 全 通 滤波 器 组 合 为 一 个 单一 
结构 。 i 


fa- yt) foun) 














Aln) 


fmin) = 
Aig ieia) 


by-iln—1) 


iM 第 ] 级 
图 3.10 MHRA TANE 
例 5 考虑 图 3.11 的 两 级 全 概 点 烙 型 泪 波 器 。 存 在 4 种 可 能 的 昌 路 可 作为 输出 ul) HR 
方案 ,如 图 3.12 所 示 。 特 别 地 ,我 们 有 
uin) = p(n) — xt un ~ 1) 一 xyxtu(n — 1} — xiu{n — 2) 


= v(n) — (xt + fja — 1) ~ run — 2) 


EY 2 可 知 


Ga ] = Ky + Kf «2 


和 
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ay = Ky 


因此 ,我 们 可 把 控制 过 程 ule) EM ATH 


uin) 二 一 1 二村 2) 二 2) 


这 就 是 二 阶 AR 过 程 的 差分 方程 。 


ARE 
Hen) 





第 2 级 第 1 级 
图 3.11 二 阶 全 极点 格 型 滤波 器 


3.10 联合 过 程 估计 


在 本 节 ,我 们 利用 格 型 预测 器 作为 一 个 子 系统 来 解决 在 均 方 误差 意 久 上 最 优 联合 过 程 估 
+P {AB ( Griffiths, 1978; Makhou ,1978)。 特 别 地 ,我 们 通过 使 用 导 委 相关 过 程 wtn) 的 一 组 可 观 
测 值 ,考虑 期 望 响 应 过 程 df(a) 的 最 小 均 方 误差 估计 问题 。 我 们 假定 过 程 a(n) 和 ulin) ER 
合 平稳 的 。 这 种 估计 间 题 类 似 于 第 2 章 所 考虑 的 问题 ,其 基本 不 同 是 :在 第 2 章 , 我 们 直接 把 
过 程 u(r) 的 样 值 用 做 可 观测 值 ,而 此 处 ,对 于 可 观测 值 ,我 们 使 用 的 是 一 组 由 馈送 多 级 格 型 
预测 器 输入 [ 带 有 过 程 uin) 样 值 ] 得 到 的 后 向 预测 灌 差 。 后 向 预测 误差 镁 此 互相 正 交 的 事实 
大 大 简化 了 问题 的 解决 方案 。 
联合 过 程 居 计 器 结构 如 图 3.13 所 示 。 该 系统 联合 完成 两 种 最 优 估计 ， 
1) 格 型 预测 器 “” 它 由 反射 系数 el ,ea ee RER M 级 单元 级 联 组 成 ,完成 对 输入 的 预 
测 。 它 把 相关 输入 样 值 序列 ulna) ,uln 一 让 ,…, wln 一 及) 转换 成 相应 的 非 相 关 后 向 
预测 误差 序列 baln) biln) s byl). 
2) 多 重 回归 滤波 器 ” 它 由 -组 权 值 ho ,4 ，…, hy 来 表征 ,分 别 对 作为 输入 的 后 向 预测 误 
差 序 列 如 Cn) ,51(n),… ,bw (n) 进 行 运算 ,产生 对 期 望 响 应 d(n) 的 估计 。 其 结 采 定 
文 为 这 两 组 量 的 各 自 标量 内 积 之 和 , 妈 


d(n|%,) = È ht b(n) (3,136) 
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APO, Aun) ,w(tn 一 1),…,uln 一 六) 张 成 的 空间 。 式 (3.136) 亦 吕 写 为 失 阵 形 

式 
d(n|U,,) = h“b(n) (3. 137) 


式 中 h 是 (M+1)x1 问 量 


h = [hh Ang)” (3.138) 
我 们 将 koshit, Ae 称 为 估计 器 的 回归 系数 ,并 把 h 称 为 回归 系数 向 量 。 


gi vr) © ) ( ; uti) 


uin) 


mis 2 


HE 3 





me 4 





图 3.12 对 图 AAR Ae Pe Bs utn) 做 出 责 献 的 四 条 可 能 路 径 


令 卫 表示 bln)[ 后 向 预测 误差 baln) biln) e, by Cn) 的 (+1)x1 向量] 的 (M+1)x 
(时 +1) 相 关 向 量 ,z 表示 后 向 预测 误差 和 期 望 响 应 的 {对 +1) x 1 互相 关 问 其 ; 则 有 
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z= Elbinjd*(n)| (3,139) 
因此 ,如 将 维 纳 - ESCA REI SE ee ISU Re eh, 可 定义 为 
Dh, =z (3.140) 
由 此 可 得 
h,=D 4 (3.141) 


EP ME D EPR AS FOr i ER ee PE B37) ran. HER, SEER 
器 通常 的 横向 实现 不 同 ,图 3.12 SRA RB h, WINA TRER E, 
第 1 级 Bare 





fag) 
p- 








by (2) 





È (E) d (tlh, 


图 3.13 基于 格 型 结构 的 联合 过 程 估 计 


3.10.1 最 优 回归 系数 向 景 与 维 纳 解 的 关系 
根据 式 (3.118) 给 出 的 Cholesky 分 解 ,可 导出 


D`’ = "RIL! (3.142) 
于 是 ,将 式 (3.142) 代 和 趟 43.141) ,可 得 
h, = LR 1 (3.143) 


而 且 , 从 式 (3.105) ,我 们 有 
b(n) = Lutz) (3.144) 
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因此 ,将 式 (3.144) 代 人 式 (3.139) ,得 到 
z = LE|u(n}d*(n)| 
= Lp 
其 中 ,p ERIA E eln) A A d(n) 的 互相 关 癌 量 。 于 是 ,利用 式 (3.145) 和 
式 (3.143) ,我 们 最 后 得 到 


(3,145) 


h, = LRL 'Lp 
=L*”R'p (3.146) 
= Lw, 
KF, LEA(3.106) FEI RAEE RAE = PE. FACS. 146 MERI 
寻找 的 最 优 回归 系数 向 量 h, SERR w, = Rp 之 间 的 关系 。 


3.11 语音 预测 建 模 


本 章 研 究 的 线性 预测 理论 已 经 在 语音 和 视频 信和 号 的 线性 预测 编码 方面 得 到 了 应 用 。 本 市 
我 们 将 讨论 语音 编码 。 
语音 线性 预测 编码 利用 了 语音 产生 过 程 经 典 和 模型 的 特殊 性 质 。 图 3.14 是 这 个 模型 的 简 
化 框图 。 该 模型 假定 声音 产生 机 制 ( 即 激励 源 ) 可 与 智能 调制 声 道 滤波 器 线性 分 离 。 激 励 的 精 
确 模型 依赖 于 语音 是 儿 音 还 是 清音 。 具 体 如 下 : 
9 浊音 (比如 eve" 中 的 /站 由 某 一 声 道 的 准 周期 激励 源 产 生 (其 中 符号 // 用 来 表示 作为 
基本 语言 单元 的 音素 )。 在 图 3.14 的 模型 中 ,脉冲 发 生 莫 产生 一 个 脉冲 串 ( 非 常 短 的 脉 
冲 ) ,该 脉冲 串 被 基本 周期 分 割 成 基 音 周期 。 这 个 信号 依次 激励 一 个 线性 滤波 器 ,该 滤 
波 器 的 频 响 决定 了 声音 的 特性 。 
o 清音 (比如 “Fish" 中 的 / 廊 ) 是 通过 声 道 收 缩 引起 的 嘲 杂 气流 所 产生 的 十 机 声音 获得 的 。 
在 这 第 二 种 情形 中 ,激励 由 一 个 简单 的 白 噪 声 源 (宽频 谱 声 源 ) 构 成。 噪声 样 值 的 概率 
ay Hi RHA THRE, 


Ait Bik RAS RS Re aS OR a ST Be FE Ae 


TO ARAH Rar EER EARRAS (RO ER, LP a Se AA 


窗口 函数 上 1) 与 信号 eC RB AS 
xit) = xrirjkir-— t) 


CE- PE et 

，” 感 兴趣 的 固定 时 间 : 

。 记 为 + 的 运行 时 间 
BBR ORARE S x( 中 在 时 间 附近 基本 上 保持 不 变 , 但 是 离开 癌 兴 趣 时 间 的 信号 容 抑 制 《Cahen， 
1995), FÆ, AS (RO eR eR 


xw) = se (wr} dr 
_ [ion _ T) exp 【一 Farjd7 


BARE TS CET) A A 
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应 相 乘 获 得 。 不 论 信 号 省 是 周期 脉冲 序列 还 是 白 噪声 , 它 的 谱 包 络 都 是 平地 的 。 因此 ,语音 信 
号 的 短 时 频谱 包 络 是 巾 声 道 滤 波 表 的 类 啊 决 定 的 。 线 性 预测 编码 (LPC, linear predictire coding) 
是 一 种 模型 相关 的 信 源 编码 形式 , 它 广泛 应 用 寸 低 比特 率 (2.4 kb/s 或 者 更 低 ) 语 音信 和 号 的 数字 
表示 。LPC 还 为 产 牛 基本 语言 参 数 的 准确 伍 计 类 供 了 一 种 方法 。LPC 的 于 发 依赖 于 图 3.14 
所 示 的 模型 ,在 该 模型 中 , 声 道 滤波 器 由 全 极点 传输 孙 数 表示 为 
G 
ind Se (3.147) 





F(z) 


AF C 是 增益 系数 。 应 用 于 这 个 滤波 器 的 激励 缘 式 随 浊 音 和 清音 之 间 的 交换 而 改变 。 于 是 ， 
传输 郊 数 为 H(z) 的 滤波 器 由 脉 溃 序 州 激励 ,从 南 产 生 沁 音 或 者 用 来 产生 清音 的 白 噪声 序列 。 
在 这 个 应 用 中 ,数据 是 实数 ,从 放 滤 波 器 系数 也 是 实数 的 。 

HEHN 


prozen 


声带 发 出 的 
CER ) 脉冲 







HEEREN 


图 3.14 语音 产生 过 程 的 简化 模型 
图 3.15 是 一 个 LPC 系统 的 框图 ,这 个 LPC 系统 可 用 于 通信 信道 上 语音 信号 的 数字 传送 或 
接收 。 发 送 器 首先 让 语音 信号 通过 一 个 窗口 (典型 的 值 是 10 ms ~ 30 ms) ,以 便 获取 一 段 处 理 
用 的 语音 样 值 。 这 个 窗口 应 当 足 够 短 以 便 使 声 道 形状 可 被 看 做 是 准 平稳 的 ,并 使 得 图 3.14 中 
语音 产生 模型 的 参数 在 窗口 持续 时 间 内 基本 上 被 看 做 是 常数 。 接 着 ,发送 器 依次 分 析 输 入 的 
语音 信和 号 ,其 分 析 逐 块 进行 ,并 采用 两 种 运算 形式 :线性 预测 和 基 音 检测 。 最 后 ,为 了 方便 信和 
在 通信 信道 上 传输 ,需要 编码 下 列 参数 : 


e 由 LPC 分 析 器 计算 得 到 的 系数 集 

es 基 音 周期 

e 增益 参数 

e 清音 /福音 参数 

接收 器 在 信道 输出 端 进行 相反 的 操作 ,首先 是 对 输入 参数 进行 解码 ,然后 利用 图 3.14 的 
模型 和 上 述 参数 合成 语音 信号 ,使 其 听 起 来 像 是 原来 的 语音 信号 。 





(b) 接收 器 
图 3.15 LILPC 语音 编码 器 椎 图 


3.11.1 ltakura-Saito 距离 测量 


在 使 用 语音 的 全 极点 模型 时 ,需要 考虑 两 个 不 同 的 问题 ， 
1) 建 模 语 音信 号 谱 包 络 的 全 极点 滤波 家 的 可 应 用 性 。 
2) 用 来 估计 全 极点 滤波 器 的 方法 。 


如 果真 正 的 谱 包 络 只 有 极点 ,那么 全 极点 模型 就 是 正确 的 模型 。 相 反 ,如 果 谱 包 络 有 极点 和 零 
点 ,那么 全 极点 模型 就 不 是 正确 的 模型 。 但 是 不 管 怎样 ,全 极点 模型 在 大 黎 数 情况 下 是 适用 的 。 

现在 假设 全 极点 模型 对 于 任何 我 们 试图 估计 的 谱 包 络 都 是 正确 的 。 如 果 语 音 是 非 浊音 
的 ,那么 计算 全 极点 滤波 器 系数 的 通常 方法 (线性 预测 ) 将 会 产生 一 个 好 的 逢 计 。 相 及 地 ,如 果 
语音 是 浊音 的 ,那么 随 着 基 音 频率 上 升 ,估计 的 劣化 ,计算 全 极点 滤波 器 系数 的 通常 方法 将 会 
产生 一 个 带 偏差 的 估计 。 且 -Jaroudi 和 Makhoul(1991) 用 下 面 将 要 讨论 的 Itakura-Saito 距离 测量 
法 解决 了 这 个 问题 。 特 殊 地 ,如 果 初 始 庄 音信 号 的 谱 包 络 是 全 极点 的 ,而 且 语 音 是 神 音 的 ,了 EL- 
Jaroudi 和 Makhoul 证 明了 恢复 真实 的 包 络 是 可 行 的 ,但 是 不 能 使 用 通常 基于 线性 预测 的 方法 。 

图 3.16 的 例子 说 明了 基于 周期 波形 的 标准 全 极点 模型 的 局 限 性 。 该 例子 的 技术 条 件 如 下 ; 


1) 全 极点 滤波 器 的 阶 数 , 放 = 12 

2) 输入 信和 号 ;在 每 个 周期 内 有 访 =32 个 样 点 的 局 期 脉冲 序列 

图 中 的 实 线 是 原来 的 通过 所 有 频率 点 的 12 极点 谱 包 络 。 虚 线 包 络 是 周期 脉冲 串 经 线性 
预测 模型 计算 后 得 到 的 对 应 结果 。 该 图 表明 用 线性 预测 方法 计算 全 极点 模型 系数 是 失败 的 。 

这 里 所 列举 的 问题 ,其 来 源 可 追 渭 到 选择 最 小 均 方 误差 作为 周期 波形 线性 预测 模型 判 则 。 
为 解决 该 问题 ,需要 为 从 离 租 频谱 样 点 中 恢复 出 正确 谱 包 络 提供 基础 的 误差 羯 则 。 达 到 这 个 
目标 的 一 个 准 财 是 离散 型 lakura-Saito BRM, 





名 hakura 和 saimt1970) 最 先 指出 ,随机 过 程 频 谱 包 络 估计 的 基本 理论 可 以 建立 在 用 线性 预测 编码 的 最 太 似 热 晒 数 基 
础 上 。 他 们 提出 了 Itakura-Sait 及 离 测 量 法 作为 自 四 归 过 程 册 样 函数 语音 信号 频谱 匹配 的 误 益 判决 准则 。 这 个 新 
的 误差 判 央 准 则 最 初 是 用 连续 谱 的 方式 表达 的 ,这 种 模型 适用 于 非 滁 音 的 语音 。 随 后 , MAy RAEN TAH 
于 具有 任意 微型 庶 的 周期 过 程 的 Iakura-Saim 距离 测 景 法 。 接 着 ,也 -Jaroudi 和 Makhonl(1991) 用 ltakura-Saito E AA 
量 法 的 离散 版 本 发 展 了 离散 的 全 极点 模型 ,这 个 模型 克 股 了 浊音 的 语音 模型 中 线性 预测 的 不 足 。 
在 第 3.11 节 中 ,我们 重点 讨论 了 ltakura-Saito EARED A RT AE AP EO I AY 
(SORR AARRE La) AS RE RE, AOS FOE EK, BBS ACS. 156) AE AA 
BORER. WHEN BORIC ltakum-Saito PRM RE AER 
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图 3.16 线 仁 预测 谱 分 析 局 良性 示例 。 实 线 是 原始 的 及 极点 的 
谱 包 络 . 虚 线 是 N= 30 时 谱 线 的 12 个 极点 线性 预测 模型 


为 了 导出 这 个 新 的 误差 判 则 ,考虑 一 个 周期 为 N 的 周期 序列 Cn) 作为 要 研究 的 实 值 平 
稳 随 机 过 程 。 将 wu(n) 展 成 任 里 叶 级 数 ,我 们 有 


N-I 
u(n) = T Y U exp (jnen) n=0,1,...,N-1 (3.148) 
K20 
其 中 m =2nk/N, H 
N-1 
U; = S un exXP{ 一 /or Sle cage ad (3.149) 
n=O 
HDL: uA OU, TER SO eS. SAH IRE m fe Cn EY BH 0 
人 铺 里 叶 级 煞 为 
im =e SS ,exp(jma,) m=0,1,...,N-1 (3.150) 
et 
Nol 
| S, = SirUnjexp(-jmw,) k=01,...,N-1 (3.151) 
m=O 


是 一 个 频谱 样 值 。 即 rtm) 和 5 ART RR. (3.149) PE MA SL 

量 Uy, U, ary Uy. RATA ,其 表达 式 如 下 (参见 第 1 章 习 题 18) 

S, 对 于 六 = 天 

0 其 他 

| 有 了 随机 过 程 un MBM USS FOES, u(r) 的 频谱 在 功能 上 一 般 依 赖 于 一 组 
谱 参 数 , 即 向 量 


| E|U,U*| = | (3.152) 
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a= [aa ay)" 


其 中 MERRER 我 们 所 关注 的 问题 是 用 观测 的 随机 变量 x (0), u,e uN 1) 中 
获得 的 统计 信息 来 估计 谱 参 数 向 量 8, 或 者 等 效 地 , 估 订 复 随机 变量 ; Ua, Uee Uyi AT 
这 样 的 估 值 ,可 采用 具有 若干 渐进 类 最 优 性 的 最 大 似 然 函数 法 (Van Trees, 1968; Poor, 1988; 
McDonough & Whalen，1995)。( 最 大 似 然 函数 估计 的 简介 请 参看 附录 Da) 

为 了 表达 这 个 估计 过 程 ,很 自然 需要 一 个 随机 过 程 a(n) 的 概率 模型 。 而 且 六 了 给 出 数 
学 上 易于 处 理 的 公式 ,我 们 假设 了 一 个 零 均 值 的 高 斯 分 布 。 于 是 ,给 定 参 数 向 全 8, 根据 式 
(3.152) 中 第 一 行 ,可 表示 随机 变量 V, 的 复 密度 概率 函数 为 (参见 第 1 章 习 题 18) 





iU 2 
六 (| = aw exp{- m) k=0,1,..,N-1 (3.153) 


这 里 ,为 了 强调 随机 过 程 对 向 量 参数 a 的 依存 关系 ,我 们 用 S, (a) 来 表示 随机 过 程 的 第 个 谱 
样 值 。 从 式 (3.152) 第 二 行 可 以 看 出 ,这些 随机 蛮 量 是 互 不 相关 的 ,高 斯 假设 表明 它们 也 是 统 
计 独 立 的 。 共 而 ,给 定向 量 参数 a, 随机 计量 pn Uo, Uy, ER SR aE BR 


N-I 
felt, U,....Uy| a) = Ta, |a) 
(3.154) 
7 Nl 1 Ue 
-Has op sar) 
根据 定义 ,用 以 a) 表 示 并 看 做 参数 向 量 a BIA RASA.. PKS EE eA 
因此 ,我 们 有 








k =ù 
为 了 简 北 问题 ,我 们 采用 对 数 形式 AT RARA A R ERAN 
L(a) = Inffa) 


_ z=( eal? 
S,(a) 


ee wl 
f(a) = II zs oP (- say) (3.155) 


(3.156) 





+ Insx(a) ) 


k=0 
此 处 ,我 们 忽略 了 常数 -NN ln x, 因为 它 与 问题 元 关 。 
对 于 无 约束 问题 ( 即 在 缺乏 参数 模型 的 情况 下 ) , 令 N 个 未 知 参 数 为 5S.(k=0,1,… .NN ~ 1)。 
由 式 (3.156) 可 知 , S, 的 最 大 似 然 函 数 估计 为 . 不 |。 从 而 ,使 用 式 (3.156) 中 中 = | | ,可 获 
得 对 数 似 然 函数 的 最 大 值 


N=] 
Limax = — X (1 + Intl) (3.157) 
k=0 


因此 ,向 量 参数 a 的 差分 对 数 似 然 函数 定义 为 
D(a) = Lmax 一 L{a) 


ese) ow 
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式 (3.158) 是 离散 形式 的 Ttakura-Saito FE BS i] EAI (McAulay, 1984); Dy (a) 中 的 下 标 表 
示 连 续 型 hakura-Saito 距离 测量 的 发 明 者 。 注 意 , D, (a) ER, WARS k A 
S,(a)=|U,|? 时 , Ds (2) 才 为 零 。 


3.11.2 离散 全 极点 模型 


给 定 一 组 离散 所, 本 -Jaroudi 和 WMakhoult 1991) 利 用 式 (3.158) 的 误差 准则 导出 了 谱 包 络 的 
一 个 参数 模型 。 这 个 新 模型 叫做 离散 全 极点 模 翅 。 该 模型 的 推导 基于 一 个 匹配 条 件 ,这 个 匹 
配 条 件 使 对 应 于 给 定 离散 谱 的 自 相关 函数 r(i) 与 对 应 于 全 极点 模型 的 白 相 关 阔 数 i( 让 相等 ， 
而 该 模型 是 在 与 给 定 谱 相同 的 离散 频率 点 上 取样 得 证 的 。 这 一 匹配 条 件 , 导 致 一 组 与 给 定 离 
散 谱 自 相关 函数 模型 参数 肥 闫 的 非 线性 方程 。 为 了 简化 这 个 非 线 性 问题 的 求解 ,可 以 利用 如 
下 取样 的 全 极点 滤波 器 的 性 质 





Basi- =f) BA: (3.159) 
在 式 (3.159) 中 a = 1,8 
j) 1 二 exp (—jw,,) 
h-i) -> > 
N i (x. wtih) (3.160) 


AC - i) Fe BOR AEE SBR OB ae ANT Te) eK PAY, FC 3 159) A RAR Ra A 
最 小 化 条 件 


Drsfa) =0 WF k=1,2,...,M 


cd, 


可 获得 与 给 定 自 相关 序列 全 极点 预测 器 系数 有 关 的 一 组 方程 


a 


S aur i-~k)=A(-i) 0SiSM (3.161) 





[从 式 (3.161) 导 出 式 (3.159) 的 过 程 可 参见 本 章 习 题 和 0,] 
为 了 计算 全 极点 模型 参数 a, ,证 = 1.2.0, M,El-Jaroudi 种 Makhoalf1991) 提 出 如 下 两 步 选 


代 算法 : 


e 给 定 一 个 模型 的 悄 值 ,用 式 (3,160) 估 计 AC - i)o 
e 给 定 新 的 合计 值 中 ( - 门 , 对 模型 参数 的 新 知 值 ,求解 线性 方程 组 ‘3,161)。 


按照 El-Jaroudi 和 Makhoul 的 思想 ,该 模型 算法 收 敏 于 惟一 的 全 局 极 小 点 。 令 人 感 兴趣 地 
注意 到 ,这 个 算法 导致 图 3.16 所 示 问 题 正 确 的 全 极点 包 络 。 一 般 说 来 ,El-Jaroudi-Makhoul 算法 
比 基 于 线性 预测 的 相应 解决 方案 偏差 较 小 ， 


3.12 本 章 小 结 
给 定 一 组 物理 数据 ,线性 预测 构成 建 模 问 题 的 基础 。 本 章 详细 探讨 了 与 广义 平稳 随机 过 
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程 相关 的 线性 预测 问题 。 特 别 地 ,我 们 用 维 纳 滤 波 器 理论 研究 了 两 种 线性 预测 基本 模型 的 优 
化 方案 : 
© 前 站 线性 预测 :在 该 方案 中 ,我们 已 知 输 人 序列 wtn -1),u(n-2),--,uCn-M), AR) 
FT SUN ARAB ou On) ERE. 
© 后 向 线性 预测 :在 该 方案 中 ,我 们 已 知 输 人 序列 ule) un- l), esula- M +i), HG 
是 对 老 的 样 值 oin- MH RE BM, 


在 这 两 种 情况 下 ,期 望 响应 是 从 时 亲 序 列 中 导出 的 。 在 的 向 线性 预测 中 , w(n) 作 为 期 户 
嘛 应 ;而 在 反 向 线性 预测 中 ,wtn - 于) 作为 期 望 啊 应 ， 

预测 过 程 可 用 预测 器 来 描述 ,或 者 等 价 地 ,可 用 拓 测 误差 滤波 胡来 描述 .这 两 个 线性 系统 
各 自 的 输出 相互 不 同 :前 向 预测 器 的 输出 是 其 输入 的 一 阶 预 调 ; 前 向 预测 误差 盖 波 器 的 输出 县 
孩 测 误差 。 我 们 可 用 类 似 的 方法 区 分 后 向 预 浏 器 和 后 身 顶 测 误差 滤波 器。 

构建 预测 误 其 滤波 器 的 两 个 最 通用 的 方法 如 下 : 

© 横向 滤波 器 :需要 关注 的 问题 是 抽 头 权 值 的 确定 。 

o 格 型 滤波 器 :需要 关注 的 问题 是 反射 系数 的 确定 。 


这 两 组 参数 实际 上 相互 有 关 , 二 者 通过 列 列 文 森 - 杜 宾 递 推 相关 联 。 

预 济 误 差 滤 波 带 的 重要 特性 可 以 总 结 如 下 ; 

9 前 向 预测 误差 滤波 器 是 最 小 相位 的 ,这 意味 善 转移 函数 的 所 有 零点 位 于 z 平面 单位 圆 
内 。 对 应 的 道 滤波 器 ,由于 表示 了 和 输 和 人 过程 的 自 间 妇 模型 ,因而 是 稳定 的 。 

© 后 向 预测 误差 滤波 器 是 最 大 相位 的 ,这 意味 着 转移 函数 的 所 有 零点 位 于 z 平面 单位 圆 
外 。 在 这 种 情况 下 , 逆 滤 波 器 是 不 稳定 的 ,因而 没有 实用 价 信 。 

o 前 向 预测 误差 滤波 器 是 白化 滤波 器 ,而 后 向 预测 误差 滤波 器 是 反 因果 白 化 滤波 器 (参见 
习题 14)。 

格 型 预测 器 提供 了 一 些 人 们 十 分 期 望 的 特性 : 

o 阶 递 推 结构 :这 意味 着 对 测 阶 数 可 以 通过 增加 一 级 或 更 多 级 来 获得 ,而 不 需要 破坏 以 前 
的 计算 。 

o 模块 化 ;这 一 事实 的 示例 是 格 型 预测 器 的 所 有 组 都 有 完全 相同 的 物理 结构 。 

© 前 向 和 后 向 预测 误差 同时 计算 :这 极 大 地 提高 了 计算 效率 。 

o 各 级 间 统 计 解 耦 : 它 是 格 型 预测 器 不 同 级 产生 的 可 变 阶 后 向 预测 误差 不 相关 的 另外 一 
种 说 法 。 这 在 乔 利 斯 基 (Cholesky) 分 解 中 得 到 体现 。 这 个 特性 在 联合 估计 过 程 中 得 到 
使 用 ,其 中 ,后 向 预测 误差 用 来 提供 某 些 期 望 响应 的 估计 。 





3.13 习题 


1。 前 向 预测 误差 滤波 器 的 增 广 维 纳 ERATE. IO 首先 由 均 方 误差 意义 上 优化 线性 预测 
滤波 器 导出 ,然后 合并 两 个 结果 :用 于 权 向 量 的 维 纳 - 霍 夫 方 程 和 最 小 均 方 预测 误差 。 坛 
通过 如 下 过 程 导出 该 方程 ; 
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Ca) FO Bi fal WR ey Arte Pek AS A BT a TL Te Se es KA PT BB) PK 
(b) TERNE BUM TR Ze RE AB HISAR OB — SCR A 1 ARE MTR XS Be) 
[1 提示 :使 用 拉 格 朗 日 乘 子 法 解决 约束 优化 问题 。 关 于 这 个 方法 的 细节 ,请 参看 附录 
C。 这 个 提示 同样 过 用 于 习题 20Db)-] 
， 后 辣 预 测 误 差 芋 波 器 的 增 广 维 纳 - 替 夫 方程 (3.38) 可 直接 从 本 书 第 3.2 节 导 出 。 试 通过 如 
下 过 程 导 出 该 方 在 ， 
(a) 用 后 向 预测 澡 差 丐 波 器 的 抽 头 权 辐 昌 来 袁 达 后 向 预测 误差 的 均 方 值 。 
(b) 在 后 向 预测 误差 滤波 器 抽 头 权 阿 量 最 后 - :个 匹 素 为 工 的 约 东 下 使 均 方 预测 误差 最 小 
化 。 
[提示 :参看 习题 11 
、，(a) 式 (3.24) 定 义 了 后 回 线 性 项 测 维 纳 - 霍 大 方程 .为 方便 计 ,该 方程 重 写 如 下 
Rw, = ri* 
其 中 ,w, 是 预测 器 的 抽 头 权 向 量 , 及 是 押 头 输入 u(n) az-1 ,wtn 一 前 +1) 的 相关 
ite ptt 是 这 些 抽 头 输入 与 期 望 响 应 utn - MAO LER. ERR SR ee?" 的 
元 素 以 反 序 重 排 , 则 其 结果 将 把 维 纳 -ER A RREA 


Rw? = r* 





(b) 证 明 内 积 rw 与 r Wi 相等 。 


， 考 虑 一 个 广义 随机 过 程 u(r) ,其 自 相 关 函 数 在 不 同 的 迟延 下 ,有 如 下 值 


rfD) = 1 


rfl} = 0.8 
r{2} = 0.6 
r(3) = 04 


(a) AUAABI XBRL EH PE BN FC ci ,es 和 xs。 

(b) 利用 (a) 中 求 出 的 反射 系数 ,为 该 过 程 建立 一 个 二 级 格 理 预 测 器 。 

(o) 计算 三 级 格 理 预 测 器 每 级 输出 预测 误差 的 平均 功率 , 画 出 预测 误差 功率 对 预测 阶 数 的 
变化 图 ,并 对 结果 做 出 评价 。 

， 考 虑 如 图 P3.1 ORR JOPIE A 是 大 于 1 的 整数 。 请 选择 权 向 量 w 使 得 

估计 误差 en) 均 方 值 最 小 。 求 w(n) 的 最 优 值 。 


uin) e(n) 









FIR ik 


图 P3.1 滤波 器 结构 痢 


10. 
11. 
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考虑 由 如 下 一 阶 差分 方程 


u(r) = Oula 一 1} + v(m) 


产生 的 平移 日 回归 过程 u(n RE. BP yn ESA TA BES, 

Ca) 确定 前 向 预测 误差 滤波 器 抽 涉 权 值 a 1 和 a, 20 

(b) 确定 相应 的 格 型 预测 器 的 反射 系数 x， 和 eo 

Ce) 对 (a) 和 (人 b) 结 果 做 出 评价 。 

(a) 一 个 过 程 u,(n) 由 复 包 络 为 a AREA o HE AAAS .方差 of? 
的 加 性 白 噪声 构成 , 即 


a(n) = al + v{n) 


其 中 
Elae 门 = 


Eliin] = a? 


该 过 程 uj{n) 应 用 于 一 个 M 阶 线性 预测 器 ,并 在 均 方 误差 意 久 上 将 其 最 优化 。 试 解 
等 如 下 问题 : 
Ci) 计算 M 阶 预 测 误 差 淖 波 器 抽 头 权 值 以 及 最 终 预 测 误差 功率 Py。 
Gi 计算 相应 的 格 型 预 调 器 的 反射 系数 el ea Kwa 
GD 当 方差 e ATF OW, DMG) MARA ES. 
(b) 考虑 如 下 AR 过 程 
m(n) = -aceafm — 1) + e(n) 


如 前 所 述 ,这 里 v(n) 是 零 均值 方差 为 1 ARE, BEO la1< 1, 但 又 非常 接近 

于 1。 过 程 w,(n) 应 用 于 一 个 M 阶 线性 预测 器 ,在 均 方 误差 意义 上 将 其 最 优化 。 

G) 计算 新 的 基 阶 预测 误差 滤波 器 的 抽 头 权 值 。 

Cit) 计算 对 应 的 格 型 预测 器 的 反射 系数 cy ts Hew 
(o) 使 用 由 (a) 和 (pb) 所 得 到 的 结果 ,比较 u (aA wu,(n) 经 过 线性 预测 紫 后 的 异同 之 处 。 
式 (3.40) 定 义 了 前 向 线性 预测 的 列 文 森 - 杜 宾 递 推 。 通 过 首先 重新 排列 抽 头 权 问 量 av 的 
元 素 , 然 后 取 其 复 共 斩 , 重 新 表示 出 如 式 (3.42) 所 示 的 后 向 线性 预测 列 文 森 - 杜 宾 递 推 。 


， 有 从 式 (3.47) 的 定义 A。, 出 发 ,证 明 A。, 是 带 延 迟 的 后 向 预测 误差 6,_1(n - 二 与 前 向 预测 


误差 上 na) 的 互相 关 。 
详细 推演 Schur-Cohn 方法 与 式 (3.97) ~ 式 (3.100) 所 概括 的 反 向 回归 之 间 的 关系 。 
考 虚 一 个 二 阶 自 吉 归 过 程 u{n), 其 表达 式 如 下 

u(n) = u{m — 1) — O05nu(n — 2) + y(n) 


其 中 y(n) 是 均值 为 零 . 方 差 为 0.5 MARAE. 


13. 


14. 
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(a) OR utn) 的 均值 。 
(b) 求 反 射 系 数 K 和 Kio 
Cc) 求 平 均 预 测 误 差 功 率 P 和 Po 


: 利用 两 个 序列 | Po ,wi ,x21 与 17(0),r(1),r(2)[ 之 间 的 一 一 对 应 关系 ,计算 对 应 于 上 题 中 


二 阶 自 回 归 过 程 xm) 的 反射 系数 < Ale, WAHR r(1) 和 r(2)。 

在 第 3.4 节 中 ,我 们 利用 罗 切 (Rouehe) 定 理 导 出 了 一 个 预测 误差 让 波 器 最 小 相位 特性 。 在 
本 题 中 ,我 们 探讨 这 个 性 质 的 另 一 种 推导 方法 一 一 基于 反 证 法 的 方法 。 考 虑 图 PB3.2, 预测 
误差 滤波 器 (34 阶 ) 表 示 为 两 个 功能 块 的 级 联 ,其 中 一 个 的 转移 函数 为 C.(z), 另 一 个 的 转 
移 函 数 为 (1 ~ zz ”)。 令 S{w) 胡 示 用 做 预测 误 兰 滤波 器 输入 过 程 n(n) 的 功率 谱 密 度 。 
(a) 证 明 前 向 预测 误差 (1) 的 均 方 值 为 


a= J Sto Gler) 一 2p, cos {a 一 四 十 pildo 
其 中 z= pie” ,并 计算 导数 age/19p， 


(b EE p > 1, 即 零点 位 于 单位 图 之 外 。 证 明 : 在 该 条 件 下 ,9e/3p, > 0. BUR RE 
作 时 ,这 样 的 条 件 可 能 吗 ? 根据 这 个 回答 ,能 得 出 什么 结论 ? 


图 到 .2 并 阶 预 测 误 差 渡 波 器 示例 


当 一 个 对 稀 自 回 归 过 程 应 用 于 间 阶 的 前 向 误差 滤波 器 时 ,其 输出 包含 白 噪声 。 证 明 当 这 
个 过 程 用 于 M 阶 后 向 预测 误差 滤波 器 时 ,其 输出 由 白 品 声 的 非 因果 实现 组 成 。 


. SiR Gas Ons ;0m.n 的 前 向 预测 滤波 器 。 定 义 多 项 式 上 (z) 如 下 


Y Pblz) =z" + Hl 中 Gan, at 


其 中 P, 是 mm 阶 平均 预测 误差 功率 ,z” 是 单位 迟延 算 子 。[ 请 注意 f, (z) 的 定义 与 相应 的 
滤波 器 传输 函数 五 .,(z) 之 间 的 差别 ,] 让 波 器 系数 与 自 相关 序列 r(0),r(1)，…r(mm) 之 
辣 星 现 一 一 对 应 关系 。 现 定义 


Att 


S(z) = Drz” 


= PT 


证 明 


其 中 


是 Kronecker- 序列 ,路径 反 是 单位 图 。 多 项 式 fn 称 为 Szegi 多 项 式 ( 参 见 附录 A). 
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16. 


17, 


18. 


19. 


零 均值 广义 平稳 过 程 n(n) 通 过 M SAMIR eRe EH 户 (aj。 相 同 的 过 程 
通过 相应 的 后 向 预测 误差 滤波 器 ,产生 输出 By(n)。 证 明山 (n) 和 bln) 具有 完全 相同 
的 功率 谱 密 度 。 

{a) 构建 习题 11 中 二 阶 自 回归 过 程 u(n) 的 两 级 格 型 预测 髓 。 

(b) STARA y(n) ,构建 自 回 归 过 程 kfna) 的 两 级 格 型 台 成 器 。 并 将 结果 与 习题 11 中 
HE s(n) 的 二 阶 差分 方程 比较 。 

考虑 图 3.10 中 重组 的 多 级 格 型 滤波 器 。 利 用 第 3.4 节 中 预测 误差 滤波 器 的 性 质 3 和 性 质 

4, 证 明 ， 

(a) 从 输入 fain) = y(n) 到 输出 utn) 的 电路 构成 M 阶 全 极点 滤波 器 ,其 中 via) RR 
声 。 

(b) 从 输入 万 (nm) 到 第 二 个 输出 Bw(n) 的 电路 构成 全 极点 滤波 器 。 

(a) 考虑 分 解 式 (3.114) 的 矩阵 乘积 LR, 其 中 工 为 式 (3.106) 定 义 的 {对 +1)x (M+ DFE 
AERE M REC M +L) x (M+ DROS, OY 为 这 两 个 矩阵 的 积 , yw 是 矩阵 
的 第 m 4738 k 列 元 素 。 证 明 

Ymm = Pa m=0,1,...,M 


其 中 P, Em 阶 预测 误差 功率 。 

(b) 证 明和 矩阵 Y 的 第 m HEB ARFS O, ra) earem | TT BBA Hol), 
厂 1(2z),…, 环 ,Cz) 的 后 向 预测 误差 滤波 器 获 得 的 。 

(ce) 假定 我 们 把 自 相 关 序 列 tr(0):rf1) srm) WE] m 阶 格 型 预测 器 的 输入 端 。 证 明 
出 现在 m 时 刻 预 测 器 低 行 (lower line) 各 点 上 的 变量 与 矩阵 Y 的 第 m 列 元 素 相等 。 

(d) 在 上 题 条 忻 下 ,证 明 m 时 刻 m 级 预测 器 下 部 输出 (lower output) A P,, ,而 在 m +1 时 刻 
相同 级 上 部 输出 (upper output) 为 AZ ;并 回答 两 个 输出 的 比值 与 第 m + 1 级 的 反射 系 
数 的 关系 如 何 ? 

Ce) 利用 (的 结果 ,给 出 计算 自 相关 序列 的 反射 系数 序列 的 一 种 递归 算法 。 


. 证 明 如 下 格 型 滤波 器 的 相关 特性 : 


(a) 
Elf.(nyet(n—k)}=0 1SkSm 
Elb,(ajut(n 一 类] = 0 OSkSm-1 


(b) 
E[f,(n)u*(a)] = E[b,(nwer(n — m)] = Pa 


(ce) 


m=i 


Elbn(n)b*(n)] = t 


Hi 天 工 


21. 
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(d 
Elfa ra D] = Edn + =o 1Sism-i 
m>i 
Elb,(mb"(n = D] = Ejani + Dorn)|=0 OS! 扫 由 -1 
m>i 
(e) 
Flfaln + m)fP(n +] = fe ae 
0 mei 
Elb, (2 + m)b¥(a + i)| = P, moi 
(f) 


KPa  mBi 
Elfn(a)or(n)] = i ae 


KARPE ARANA un EA (Shannon entropy) 由 多 重 积分 定义 为 
H, = - Í ” fot) In [fy(m)}du 


后 向 预测 误差 向 量 b(n) un) MAAR BAC. 105) 4 Gram-Schmidt 算法 给 出 。 证 明 向 其 
b(n) 种 向 量 a(n) 具 有 相 问 的 炉 , 因 此 具有 相 问 的 信息 量 。 


,考虑 优化 m 级 格 型 预测 器 的 问题 ,其 代价 函数 为 


Frm) = GE{|f,(a)P] + (La) B [lb] 
其 中 a BPE OM 1 SAK, CO) ob, (HS m 级 输出 的 前 向 和 后 向 预测 
误差 。 
(a) 证 明 J, 取 最 小 值 时 ,反射 系数 <， 的 最 优 值 为 


Elbni{n 一 TFI 
(1 = 的 至 [| 六 iD + @E [nia 一 3 


(b) 在 下 面 三 种 条 件 下 ,计算 K,.. Ca) 





Km, od) = 


(l)a = 1 
(2) a = 2 
(3) = 1/2 


注意 : 当 a =1 时 ,代价 函数 可 简化 为 
Fran) = 如 [Pa 站 


我 们 把 这 个 准 测 叫 做 前 向 方法 。 
当 & =0 时 ,代价 函数 可 简化 为 


Ink Kn) = EL Bont)! ] 
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我 们 把 这 个 准 测 本 做 后 向 方法 。 
Has Sint ve, CaS Burg AR 


2E — = | 
Are - [Bn A Ifa (7) | ; wee 1,2,...,M 
i lf, Ay + bmn = 1)| ] 





23. Ec? Alc? SE m SR ME Re, 的 最 优 值 ,分别 利 用 上 题 定义 的 前 向 法 和 后 
向 法 ,证明 如 下 问题 ; 
(a) 证 明 从 Burg 公式 获得 的 ,的 最 优 值 是 xu. 和 xi 的 调和 均值 , 即 
2 1 l 








Kmo E Kyi K, 
(b) 利用 (Ca) 的 结果 证 明 
Imm. = i 对 所 有 以 


(e) 对 于 使 用 Burg 公式 的 属 型 预测 器 ,证 明 在 m 级 输出 前 向 和 后 向 预测 误差 均 方 值 与 输 
入 均 方 值 的 关系 为 


E|] = (1 — (mol En] 
及 
Ellbstn)] = (3 — pem JE [male — UY] 


24. 根据 第 3.3 节 的 列 文 森 - 杜 宾 算 法 ,m 级 格 型 预测 器 反射 系数 «x, 可 用 等 效 集 平均 形 式 表示 
为 


Elba tn Fi] 二 [pei 一 于 FA 


KS So ee oe ee 


E[lb, a(n — 17] E[n] 
- F [By ala = žal] 
(Efn Elon -P 
作为 一 个 结果 ,对 于 所 有 的 ,1e1s1。 然 而 我 们 发 现 , 当 反 射 系 数 en 的 估计 基于 有 限 
数据 时 ,只 有 最 后 这 个 公式 的 财 间 平均 形式 才能 保证 对 于 所 有 的 m, leall WEHE 


述 结论 的 正确 性 。 
25, 图 3.10 所 示 的 全 极点 、 全 通 格 型 滤波 器 要 求实 现 如 下 转移 函数 


2 








kd 
(1 — 2/0.4)(1 + z/0.8) 


Ca) 确定 该 滤波 器 的 反射 系数 e, 和 ey 
(b) 确定 由 这 个 格 型 滤波 器 实现 的 全 通 转移 函数 。 

26. 在 第 3.9 节 中 ,我 们 将 全 极点 格 型 洪波 器 用 做 自 回归 过 程 的 发 生 器 。 该 滤波 器 也 可 以 有 效 
地 用 来 计算 相对 于 r(0) 归 一 化 的 自 相关 序列 r(1),r(2),…,r(m)。 这 一 过 程 包 括 将 格 型 
后 向 滤波 器 的 状态 ( 即 单位 时 延 元 素 ) 初 始 化 为 1,0,…,0 并 允许 涯 波 器 工作 在 零 输 入 情况 


G{z) = 
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下 。 事实 上 ,这 个 过 程 提 供 了 式 (3.57) 的 一 个 格 型 解释 。 它 使 得 自 相 关 序 州 r0), 
(1),…,r( 导 | 与 增 广 反射 系数 序列 | Pu ,xi ,… ,wy1+ 有 关 。 证 明 最 终 阶 数 M 为 如 下 取 值 
时 上 述 过 程 的 正确 性 ; 
(a)M=1; (b)M=2; (ce) M=3, 

27. 图 P3.13 的 联合 估计 处 理 器 使 用 后 向 预测 误差 作为 计算 期 望 响应 dn Mae, 
解释 在 此 处 为 什么 使 用 后 向 预测 误差 ,而 不 基 前 向 预测 误差 。 

28. 图 P3.3 给 出 一 个 零 援 点 格 型 滤波 器 的 模型 。 这 个 模型 是 一 个 如 图 3.10 所 示 的 扩展 型 的 
全 极点 .全 通 格 型 滤波 器 。 该 图 实现 了 如 下 MAM SS RRB BR 


rete — 2/z;) 


其 中 G ERENT. SHED 3.9 节 的 讨论 ,如 图 P3.3 A Ee SE a) LE A 
反射 系数 «42,7 ty EMC 2) RA: 

(a) 已 知 转移 函数 G(z) 的 极点 位 于 pi ,pz，…,pw ,给 出 求 相应 反射 系数 值 的 步骤 。 

(b) BE Go 和 转移 函数 GCz) 的 零点 位 置 ,给 出 计算 回归 系数 ho hits hy AR. 
(ec) 图 P3.3 所 示 的 结构 能 够 实现 一 个 非 最 小 相位 转移 函数 吗 ?9 验证 你 的 答案 。 


(z) (£) ya) 


图 P3.3 零 极点 格 型 滤波 器 模型 
29. 继续 习题 28 ,确定 图 P3.3 的 零 极 点 格 卉 滤波 器 的 反射 系数 和 回归 系数 ,以 实现 如 下 传输 











PR 
l _ 10(1 + z/0.1)(1 + 2/06) 7 10(1 + z + 2°) 
(i) G2) = = Fjgaya + 2/08) (ii) Gla) = Zea + 2/08) 
va: 10(1 + 2/0.6)(1 + 2/15) _ 1011 +z + 052’) 
(iii) Gle) = “gay + 2/08) Civ) G2) = (OAT + 2/08) 


30. 在 本 习题 中 ,我们 通过 式 (3.161) 来 导出 式 (3.159) ,以 便 计算 离散 全 极点 滤波 器 以 及 相关 
(a) > 
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对 于 上 = wu, 从 恒等式 
filer) Alen) = | 
出 发 ,推导 式 (3,159) 和 式 (3,160)。 
(b) 令 r 间 表示 对 应 于 给 定 离散 谱 的 自 相 关 明 数 , 并 记 ri 为 在 与 给 定 谱 相 同 的 识 向 频 
率 点 上 取样 的 全 极点 模型 的 自 相 关 画 数 。 同 时 令 


Dlo) = |e") 


M 
= S a, cos (uk } 
kat 
其 中 
M f 
dy = Yai 
k -0 
H 
Af: 
d, = 23 ayap LISM 
k= 
通过 置 


HDs 二 
ae =, 1...., M 
aa, 0 对 于 i = 01， 


其 中 Ds 表示 离散 型 Takura-Saito 路 离 测 基 , 推 导 相关 匹配 条 件 
=r) 对 于 0 i 
尽管 相关 匹配 条 件 所 供 了 对 Itakura-Saito 距离 测量 应 用 的 了 解 , 但 从 计算 的 观点 ,应 用 最 
小 化 条 件 (EELJaroudi & Makhoul, 1991) 


0 a 
E _ 4 WT: =0,1,...,M 
da, 


将 更 如 有 用 。 当 式 {3,158) 中 的 pe(a) 由 下 式 


] 
Sua) Sr 9 
Saeco 


k=l 








给 出 时 , 试 利用 它 表征 全 极点 模型 ,并 由 此 导出 式 (3.161)。 


第 4 章 最速 下 降 算 法 


本 章 通 过 描述 一 种 十 老 的 最 优化 技术 邑 最 速 下 降 法 (method of steepest descent) 来 研究 基于 
梯度 的 日 适应 方法 。 这 种 方法 是 理解 各 种 基于 梯度 的 自 适 应 方法 的 基础 。 

最 速 下 降 法 可 用 反 馈 系 统 来 表 兴 ,滤波 人 器 的 计算 是 一 步 - 兹 和 迭代 进行 的 。 从 这 个 意 交 上 
讲 , 最 速 下 降 法 是 递 晤 的。 把 这 种 方法 应 用 于 维 纳 ( Wiener) 滤 波 时 ,可 得 到 一 种 能 跟踪 信号 统 
计量 随时 间 变 化 的 算法 ,而 不 必 在 每 次 统计 量变 化 时 都 求解 维 纳 - 埠 夫 (Wiener - Hopf) 方 程 。 
在 平稳 过 程 这 个 特殊 情况 下 ,给 定 任意 初始 抽 头 权 向 量 , 问 题 的 解 将 随 迭 代 次 数 的 增加 而 改 
善 。 值 得 一 提 的 重要 一 -点 是 ,在 适当 条 件 下 ,上 述 方 法 的 解 收 合 于 维 纳 解 ( 凤 集 平 均 误 差 曲 面 
的 极 小 点 ) 而 不 需要 求 输入 向 量 相关 和 矩阵 的 道 矩 阵 。 


4.1 最 速 下 降 算 法 的 基本 思想 


考虑 一 个 代价 函数 Jw) , 它 是 某 个 未 知 向 量 w 的 连续 可 微 函 数 。 函 数 J(w) 将 w 的 元 素 
了 映射 为 实数 。 这 里 ,我 们 要 寻找 一 个 最 优 解 w, ,使 它 满足 如 下 条 件 
Jw) ssw) 对 所 有 w (4.1) 
这 也 是 无 约束 最 优化 的 数学 表示 。 
特别 适合 于 自 适 应 滤波 的 一 类 无 约束 最 优化 算法 基于 局 部 迭代 下 降 的 思想 : 
从 菜 一 初始 猜想 W(0) 出 发 ,产生 一 系列 权 向 量 Ww(1)，w(2),... RAR Ow) 在 
算法 的 每 一 次 迁 代 都 是 下 降 的 , 即 
Twln + 1)) < J(w(n)) (4.2) 
其 中 W(n) 是 权 向 量 的 过 去 值 ,而 wn DEREK, 
我 们 希望 算法 最 终 收 敛 到 最 优 值 w (这 里 之 所 以 说 "希望 ”, 是 因为 如 不 采取 特殊 的 预防 
措施 ,算法 有 可 能 发 散 )。 
送 代 下 降 的 一 种 简单 形式 是 最 速 下 降 法 (method of steepest descent) ,该 方法 是 沿 最 速 下 降 
方向 [ 负 梯 度 方向 , 即 代价 函数 jw) 的 梯度 向 量 Y JJ(w) 的 反方 向 ] 连 续 调 整 权 向 量 w。 为 方 
便 起 见 , 我 们 将 梯度 向 量 表示 为 


g = Vw) = 2m) (4.3) 
aw 
Aik eee FRA Ra 
win + 1) = wn} ~ 了 (4,4) 


其 中 n 表示 先 代 进程 ,y 是 正常 数 , 称 为 步 长 参数 , V2 因子 的 引入 是 为 了 数学 上 处 理 方便 。 
在 从 n 到 n+1 的 迄 代 中 , 权 向 量 的 调整 量 为 
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4,4 
=~ ugn) (4.5) 

为 了 证 明 最 速 下 降 算 法 满足 式 (4.2) ,在 w(n) 处 进行 一 阶 泰勒 (Taylor) 展 开 , 得 到 
w+1)) = J{w{n)) + gi (néwin) (4.6) 


此 式 对 于 pe 较 小 时 是 成 立 的 。 在 式 4.6 中 假设 w 为 复 值 向 量 ,因而 梯度 向 量 g 也 为 复 信 向 
量 ,所 以 使 用 埃 尔 米 特 转 置 。 将 式 (4.5) 用 到 式 (4.6) 中 ,得 到 
Hw(n + 1)) ~ J(w(n)) -了 en 


这 表明 当 y 为 正 数 时 ,J(w(n+1)) < Jwa) AE, ME ”的 增加 ,代价 函数 J(n) 减 小 ; 
当 rn = % 时 ,代价 函数 趋 于 最 小 值 Saino 


4.2 最速 下 降 算法 应 用 于 维 纳 滤波 器 


考虑 一 个 模 疝 滤波 器 ,其 抽 头 输入 为 a(n) ,a(n 一 1),…,u(n 一 计 + 了 1, 对 应 的 抽 头 权 值 
为 won), wi(n)s ,ww-1()。 抽 头 输入 是 来 自 零 均值 相关 矩阵 为 R 的 广义 平稳 随机 过 程 
的 抽样 值 。 除 了 这 些 输入 外 ,滤波 器 还 要 一 个 期 望 相应 4(n), 以 便 为 最 优 滤波 提供 一 个 参 
考 。 图 4.1 描 述 了 这 个 滤波 过 程 。 





图 4.1 自 适 应 横向 被 波 右 的 结构 


在 时 刻 n 抽 头 输入 向 量 表示 为 u(n) ,滤波 器 输出 端 期 望 响 应 的 估计 值 为 dnl), jep 
U, 是 由 抽 头 输入 uCn) ,utn -Ta — M+ 1 所 张 成 的 空间 。 通 过 比较 期 望 响应 dln) 
及 其 估计 值 ,可 以 得 到 一 个 估计 误差 eln), B 
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e(n) = d(n) — dlnls) 
= din) — w! (nju(n) 
这 里 w*{n)u(n) 是 抽 头 权 向 量 win) 与 抽 站 输入 击 量 p(n) 的 内 积 。@( nn) 可 进一步 表示 为 
wn) = [eoln), wt), om af 
同样 , 抽 头 和 葵 人 商量 uia RRA 
u(n) = [ulaula — 1)... M + 
Sn hs a A eS un 和 期 望 响 应 dn) ER AOE TA Re a AEM Al = 的 
RO} BR I) ALTER fo) KAA, FT PAB LR (2.50) J 
I(n) = 03 — w"(n)p — Pp wn) + wi (mRw(n) (4.8) 
其 中 ,o = 目标 函数 dln) 的 方差 ， 
p= 抽 头 输入 向 量 uin) 与 期 望 响 应 d(n) 的 互相 关 向 量 , 吧 
R= HARA EE uln) 的 相关 矩阵 。 
由 第 2 章 可 知 , 梯 度 问 晤 可 写 为 


{4.7) 

















B37(n) je 

aaah n) (7) 

aJ(n) ae) 

wm =| a(n) bn) 


(4.9) 





ad(n) . — altn) 
BQ y-n} j ðby—iln} 
= -2p + 2Rw(n) 


PEIRA J (a )/3 a, (nR Ja) b, IER R J(n) 对 第 个 抽 头 权 值 
wo, (mn) 的 实 部 ww(n) 和 虐 部 b(n) 的 偏 导数 ,=1,2,…, 放 -1。 对 最 速 下 降 算 法 应 用 而 言 , 假 
设 式 (4.9) 中 相关 和 矩阵 R 和 互相 关 向 量 p 已 知 , 则 对 于 给 定 的 抽 头 权 向 量 w(a), 可 以 计算 出 
梯度 向 量 YJ(n)。 因 此 ,将 式 (4.9) 代 入 式 (4.4) ,可 得 更 新 的 抽 头 向 量 wO + DA 

win + 1) = w(n) + afp — Rwín)] n= 0,1,2,... (4.10) 


它 描述 了 维 纳 滤波 中 最 速 下 降 法 的 数学 表达 式 。 

根据 式 (4.10) ,在 时 刻 n+ 1 应 用 到 抽 头 权 向 量 的 调整 量 Swin) FT pip- Rw(n)]。 

个 调整 量 也 可 以 袁 示 成 抽 头 输 人 向 量 n(n) 和 估计 误差 e(n) 内 积 期 望 的 py 信 ( 详 见习 题 7)。 
这 表明 可 以 用 一 组 互相 关 器 来 计算 抽 头 权 向 量 w(n) 的 校正 量 56w(n), 如 图 4.2 所 示 。 在 这 
幅 图 中 ,校正 向 量 Ew(n) 可 用 wln), ðw (tn),...， Bww_1(n) 表示 。 

从 另 一 个 角度 ,我们 可 以 将 式 (4.10) 的 最 速 下 降 法 看 做 一 个 反馈 模型 ,如 图 4.3 信号 流 图 
所 示 。 图 中 每 个 节点 的 “信和 号 ”都 由 向 量 组 成 ,图 中 每 一 分 支 的 传递 系数 (transmittance) 或 者 为 
标量 ,或 是 平方 矩阵 ,从 这 个 意义 上 讲 该 模型 是 多 维 的 。 对 于 图 中 的 每 一 分 支 , 信 号 向 量 流出 
等 于 信息 向 量 流 人 与 分 支 传递 系数 矩阵 的 乘积 。 对 于 并 行 连 接 的 两 个 分 支 ,整个 传递 系数 第 
阵 等 于 各 个 分 支 传递 系数 矩阵 的 和 。 对 于 级 联 的 两 个 分 支 ,总 的 传递 系数 矩阵 等 于 按 有 关 分 
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支 次 序 排列 的 各 个 传递 系数 短 阵 的 属 积 。 最 后 ,符号 :是 一 个 单位 时 延 符号 ,z "I 是 代表 某 
一 迭代 循 坏 时 延 的 单位 时 延 分 支 的 传递 系数 和 矩阵。 


ettn) 





P win + l} win} 


图 4.2 ERNA 计算 抽 头 权 向 量 各 元 京 的 互相 关 器 组 4.3 最速 下 降 算 法 的 信号 流 图 表示 


4.3 最速 下 降 算法 的 稳定 性 


因为 最 速 下 降 算 法 含有 反馈 ,如 图 4.3 的 模型 所 示 , 这 个 算法 就 有 不 稳定 的 可 能 性 。 出 图 
中 的 反馈 模型 可 以 看 出 ,该 算法 的 稳定 性 取决 于 两 个 因素 :(1) 步 长 参数 ; (2) 抽 头 输 人 癌 量 
ut mn) 的 相关 矩阵 R。 这 两 个 参数 完全 决定 了 反馈 环 的 转移 函数 。 为 了 得 到 最 速 下 降 站 法 的 
稳定 性 条 件 ,我 们 研究 算法 的 自然 模型 (Widrow,1970)。 特 别 地 ,我 们 用 特征 值 和 特征 向 量 来 
表示 相关 矩阵 R 以 恒定 义 抽 头 加 权 向 量 的 变换 形式 。 

在 开始 分 析 时 ,首先 定义 时 刻 n 的 加 权 误 差 器 量 
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c(t) = w, — wir) (4.11) 
其 中 w, REN BANE (2.34 LOL. BIR HEROM) 
(4.10) 之 间 的 互相 关 向 量 p, 并 按照 加 权 误 差 向 量 el =) 重 写 该 结果 ,可 得 
e(n + 1) = (I ~ AR)e{n) (4.12) 
这 里 工 为 单位 阵 。 式 (4.12) 可 由 图 4.4 的 反馈 偿 型 来 表示 。 此 图 再 一 次 强调 了 这 样 一 个 事 
实 ; 最 速 下 降 算 法 的 稳定 性 取决 于 u MR, 





cnt 1) etry 
图 4.4 基于 加 权 误 莽 向 量 的 最 速 下 降 算 法 的 信号 流 国 


使 用 特征 值 分 解 ,可 将 相关 矩阵 RERA OLR E) 
R = QAQ" (4.13) 
JERE QAAE SR HERE (unitary matrix) ,具有 与 矩阵 R 的 特征 值 相关 的 一 组 正 交 特征 向 量 
作为 它 的 列 。 和 矩阵 起 是 一 对 角 秆 阵 , 而 且 具 有 算 阵 R 的 特征 值 作为 它 的 对 角 元 素 。 这 些 特 征 
fi GOH A. Ap Ay ABIES, BEAM SE ERE Q 的 列 有 关 。 将 式 
(4.13) (RAK (4. 12), 79 


e(n + 1) = (1 — QAQ” e(n) (4.14) 
LARA Q", HABE Q 的 性 质 ( 即 OY SF Q '), 可 得 
Q*e(n + 1) = (1 — pA)O“e(n) (4.15) 
EN 
vin} = Qrin) 
Sae =a] (4.16) 
因此 ,我 们 可 以 用 变换 形式 重 写 式 (4.14) 为 
vín + 1) = (L- pAn) (4.17) 
vY(n) 的 初始 值 为 
v(0) = Q”[w, — w(0)] (4.18) 


假设 初始 抽 头 加 权 向 量 为 堆 , 则 式 (4.18) 变 为 
vi0) = Qi w, (4.19) 


164 自 适 应 泪 波 器 原理 


对 于 最 速 下 降 算法 的 第 上 个 自然 模式 ,我 们 有 

ain +i) = {1 — pàla) k= 1,2,...,M (4.20) 
其 中 A, 是 相关 和 矩阵 及 的 第 上 个 特征 值 。 式 (4.20) 可 用 图 4.5 所 示 的 标量 值 反 馈 模 型 来 表示 ， 
*” 表 示 单 位 时 延 。 很 明显 ,这 个 异型 的 结构 查 比 先前 图 4.3 的 矩阵 值 的 反馈 模型 简单 。 这 两 
个 模型 虽然 表现 形式 不 一 样 ,但 它们 是 等 效 的 。 





Q Ca 
vin + 1 vin) 


图 4.5 最 速 下 降 算 法 的 第 在 个 自然 模式 的 信 生 流 图 


式 (4.20) 是 一 阶 齐 次 差分 方程 ,假设 v,(n) 有 初始 值 v (0) , 则 很 容易 得 到 它 的 解 为 
vln) = {1 ~ pa,)"2,(0) k=1,2,...,M (4.21) 
由 于 相关 矩阵 R 的 所 有 特征 值 都 是 正 实数 , 故 响 应 v,(n) 将 不 会 振荡 。 此 外 ,如 图 4.6 所 示 ， 
式 (4.21) 产 生 的 数 构成 一 个 公 比 为 1 - ja 的 几何 级 数 。 为 了 满足 最 速 下 降 算 法 的 稳定 性 或 
收 伍 性 ,对 所 有 天 ,上 几何 级 数 的 公 比 的 值 应 小 于 1。 也 就 是 说 ,我 们 有 
-1 <1- pà <1 对 所 有 天 

URES ERE a 趋 近 无 穷 时 ,最 速 下 降 算 法 的 所 有 自然 模式 将 消 兴 ,而 不 管 初始 条 件 怎 么 
样 。 这 等 于 说 ,当选 代 次 数 n BUA KAR wn IB W, © 

由 于 相关 矩阵 RR 的 所 有 特征 值 都 是 正 实数 ,由 此 得 出 ,最 速 下 降 算法 稳定 的 充分 和 必要 
条 件 是 步 长 因子 jp 满足 不 等 式 





2 
O< p< 7 (4.22) 


其 中 ju 是 相关 矩阵 及 的 最 大 特征 值 。 





选 代 次 数 : 
4.6 最 速 下 降 算 法 的 第 上 个 自拔 模 式 随时 间 变 化 情况 ( 设 1- pA, 小 于 1) 
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出 图 4.6 可 见 ,假设 单位 时 间 就 是 一 个 选 代 循 环 的 持续 时 间 ,而 且 选 择 可 用 时 间 常 数 mm 
使 得 
1 一 pA, = exp {- 4) 
则 x, 的 指数 包 络 拟 合 几 何 级 数 。 从 而 ,第 上 个 常数 可 按照 步 长 参数 和 第 上 个 特征 值 表示 为 
-1 
In{l — pray) 
n 定义 了 第 天 个 自然 模式 w(m) 误 减 为 其 初始 值 w (0) 的 1/e BY AT HE BE MIA RK, E e 是 
自然 对 数 的 底 。 对 于 慢 自 适 应 的 特殊 情况 , 步 长 参数 & 很 小 , 则 


Tk (4.23) 


Ty, ™ axl (4,24) 


© pa 
现在 ,我 们 可 以 表示 初始 抽 头 权 向 量 wn ASE FEE, ER. 16) AEA 
Q.H QQ” =1I 的 特性 ,可 得 


w(t) = wo — Qv(n) 


(4,25) 


M 
= Wy 一 2, aviln) 
=1 


这 里 9 ,gq;，… ,gu 是 与 相关 矩阵 R 的 特征 值 4 Al AEE OR kh KARRA 
wy(n) 由 式 (4.21) 定 义 。 将 式 (4.21) 代 入 式 (4.25), 第 i 个 抽 头 权 值 的 朋 态 特性 可 表示 为 


N 
win) = Wai 一 2 dite( ONL — pa,)” i=1,2,...,M (4.26) 
=1 


其 中 w, 是 第 i 个 抽 头 权 值 最 优 值 ,gs 是 第 个 特征 向 量 的 第 i 个 分 量 。 

式 (4.26) 表 明 ,最 速 下 降 算 法 中 每 一 个 抽 闷 入 值 收 和 伍 于 指数 形式 (1 - ya)" 的 加 权 和 。 
达到 其 声 始 值 的 Ve 时 每 一 项 所 需要 的 时 间 r 由 式 (4.23) 给 出 。 然 而 ,整个 时 间 常 数 r, E 
SO BEE UC A ALY 1e 时 式 (4.26) 中 和 项 所 需要 的 时 间 ;不 能 用 类 似 于 式 (4.23) 的 简单 闭 
起 来 表示 。 不 过 ,除了 与 矩阵 R 的 最 小 特征 值 4 相对 应 的 模式 外 , 当 quv(0) 为 零 ( 对 所 有 
ket ,可 获得 最 低 收 敏 速 率 ;因此 ,r。 的 上 界 可 定义 为 -ln(l - Agi) o 而 除了 与 矩阵 R 的 最 
大 特征 值 1, 相对 应 的 模式 外 , 当 所 有 gu(0) 为 零 时 ,可 达到 最 高 收 伍 速 率 ; 于 是 ,r 的 下界 
可 定 忱 为 -1nfL- pA, do 因此 ,最 速 下 降 算 法 中 任意 抽 头 权 值 的 时 间 常 数 ce, 的 上 下 界定 
SRW F ( Griffiths , 1975) 

-1 -1 

In{1 一 LAmax) 三 到 In{1 一 MAmin) 

ety HA OG, SHERE 及 的 特征 值 分布 很 广 ( 即 抽 头 输入 相关 和 矩阵 病态 ) 时 ,最 速 下 降 算 法 的 
完成 时 间 受 到 最 小 特征 值 (或 最 小 模式 ) 的 限制 。 


(4.27) 
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4.3.1 均 方 误差 的 瞬 恋 特性 


通过 观察 均 方 误差 J(n) 的 瞬 态 特性 ,可 以 进一步 深刻 了 解 最 速 下 降 算法 的 运行 过 程 。 根 
据 式 (2.56) ,有 


M 
Jin) = Jan t D Adet (4.28) 
k=] 





其 中 Ju EEDAN iE. AP HRR n AREA MRR2 MRAR. 28), 
可 得 
f(a) = Sain + Dall — paz) "lw (0)? (4,29) 


其 中 n (0) 22 mta) 的 初始 值 。 当 算法 收 伍 时 [ 即 pe 满足 式 (4.22) ,无论 什么 者 始 茶 件 , 部 有 
lim J(n) = Jain (4.30) 


TARA n 与 均 方 误差 J n) 关 系 的 曲线 称 为 学 习 曲 线 。 由 式 (4.29) 可 知 ,最 速 下 降 
算法 学 习 曲 线 由 一 组 指数 和 组 成 ,每 一 指数 对 应 算法 的 一 个 自然 模式 。 一 般 米 说 , 白 然 模式 数 
等 于 抽 头 权 值 数 。 从 初始 值 J{0) 到 最 终 值 J ,第 个 自然 模式 指数 衰减 的 时 间 常 数 为 

一 


2In(t — pa) (4.31) 


Tk mse 2 


当 步 长 参数 yy 较 小 时 ,时 间 常 数 近 似 为 
1 
Tk mse ™ DA 


式 (4.32) 表 明 , 步 长 参数 wx 越 小 ,最 速 下 降 算法 中 每 一 个 自然 模式 的 误 减 速率 越 慢 。 


(4.32) 


4.4 示例 


在 这 个 示例 中 ,我 们 考察 最 速 下 降 算法 用 于 预测 器 时 的 瞬 态 特性 ,该 预测 需 运 行 在 实 值 目 
回归 (AR, autoregressive 过 程 中 。 图 4.7 给 出 了 预测 器 的 结构 ,假设 它 包含 两 个 摘 涉 权 值 
w,(n) 和 w,(n), 这 两 个 拉 头 权 值 对 迫 代 次 数 n 的 依赖 性 突显 出 预测 器 的 瞬 态 特性 。AR 过 程 
x(n) 可 以 用 二 阶 差分 方程 描述 为 

u(n) + aju{n — 1) + autn — 2) = v(m) (4,33) 
其 中 抽样 值 (na) 来 自 零 均 值 .方差 为 e 的 白 噪声 过 程 。 自 回归 参数 a, 和 a, 的 选择 应 使 得 
如 下 特征 方程 
Ltaz)-mz?=0 
的 根 为 复数 值 , 即 a? <4e,. a, M a, 的 特定 值 由 所 希望 的 特征 值 扩散 度 x (R) 来 决定 。 对 于 
特定 的 a 和 a. HRR y(n) 的 方差 e 应 使 得 过 程 wtn) 具 有 方差 5, = 1。 
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AU) 





图 4.7 ERARA A Pa ae 


计算 最 速 下 降 算 法 瞬 态 特性 要 求 满足 如 下 条 件 : 
e 改变 特征 值 扩散 度 y(R) ,而 固定 步 长 参数 w。 
改变 步 长 参数 ,而 周 定 特征 值 扩散 度 x (R)。 
4.4.1 AR 过 程 的 特征 


因为 图 4.7 的 预测 器 有 两 个 抽 头 权 值 日 AR 过 程 v() 是 实数 值 的 , 故 抽 头 输入 相关 和 矩阵 
到 是 一 个 2x2 的 对 称 矩 阵 , 即 
_ Pro) r(1) 
Se E a] 











其 中 { 见 第 1 章 ) 
r(0} = o 
和 
neesi z 
H 
2 
7 = Carl ea 
矩阵 及 的 两 个 特征 值 为 
Ay (1 ; ao 
和 





因此 ,特征 值 扩散 度 ( 假 设 a, 为 负数 ) 为 
à l-a+ a 


J. hear aan propre tl 
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对 应 于 特征 值 4, 和 A, 的 特征 向 量 分 别 为 


它们 均 已 对 单位 长 度 归 一 化 。 
4.4.2 实验 1 变化 特征 值 扩 散 度 


在 这 个 实验 中 步 长 参数 wx 国定 为 0.3 ,我们 对 表 4.1 的 四 组 AR 参数 进行 评估 。 
#4.1 表征 二 阶 AR 建 模 问 题 的 参数 值 小 结 








AR SHG Hire 特征 值 扩散 度 ”最 小 均 方 误差 
组 别 如 1 al Ay Aq 5dr Join = Oy 
1 - 0.1950 0.95 1.1 0.9 1.2 0.0965 
2 - 0.9750 0.95 1.5 0.5 3 0.0731 
3 — 1.5655 0.95 1,818 0.182 10 0.0322 
4 -1.9114 0.95 1.957 0.0198 100 0.0038 


对 给 定 的 一 组 参数 ,我们 使 用 变换 的 抽 头 权 值 误 差 v,(n) 相 对 于 ov, (n) BY PRR Sik a 
最 速 下 降 算 法 的 瞬 态 特性 。 特 别 地 ,利用 式 (4.21) ,得 


_ | ata) 
vin) = ee | 
= £ T paalo) | n=12 
(1 一 KAY wo 0) Sa 
为 了 计算 初始 值 x(0) ,我 们 使 用 式 (4.19) ,假设 拙 头 权 向 量 w(n) 的 初始 值 w(0) 为 零 。 这 个 公 


式 需 要 知道 最 优 抽 头 权 向 量 w, 的 信息 。 当 优化 图 4.7 的 两 个 抽 头 预测 器 时 ,将 式 (4.33) 的 一 
Bt AR 过 程 用 于 抽 头 输入 ,可 求 出 最 优 抽 头 权 向 量 


(4.34) 


及 最 小 均 方 误差 


因此 ,利用 式 (4.19) ,可 得 初始 值 


1 1 l a, 
St iba (4.35) 
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于 是 ,对 于 特定 的 参数 ,用 式 (4.35) 计 算出 初始 值 Y 0) ,再 用 式 人 4.34) 计 算 ¥(1) ,vy(2),…, 并 连接 这 些 
随 着 = 变化 而 变化 的 点 , 即 得 特定 参数 集 情况 下 描述 最 速 下 降 算 法 瞬 态 特性 的 轨迹 。 

TE ma 相对 于 v (a ER REBT SALEBY n 时 式 (4.28) 所 形 示 的 轨迹 是 很 有 益 
的 。 在 这 个 示例 中 ,由 式 (4.28) 得 到 

Jin} 一 (十 (4.36) 

SA, 24, H 固定 时 , 式 (4.36) 表 不 一 个 癌 , 其 中 心 在 初始 点 ,半径 等 于 [f(a) daa A 的 平 
方 根 ,其 中 是 两 个 特征 值 的 共 局 值 。 当 ，X, wa, Hn 固定 时 , 式 (4.36) 表 示 一 个 椭圆 ,其 长 轴 
AYLI) - Jo A> 的 平方 根 , 短 轴 为 [jn 一 Juan) fA, PETAR A, > Ase 


情况 1: 特征 值 扩 散 度 x(R}=1.22 

在 表 4.1 的 第 一 组 参数 的 条 件 下 ,特征 值 扩散 度 x (R) = 1.22。 也 就 是 说 ,特征 值 Aa, 
几乎 相等 。 将 这 些 寡 数 代入 式 (4.34) 和 式 (4.35), 可 得 变动 时 fv {#),v,(n)] 的 轨迹 ,如 图 
4.8{a) 所 示 。 在 式 (4.36) 中 使 用 同样 的 参数 ,可 得 对 应 于 n =0,1,2,3,4,5, J(n) 取 固 定 值 时 
的 近似 贺 周 轨迹 。 

通过 描述 抽 头 权 值 wna HAARET wtn) 的 曲线 , 亦 可 得 到 最 速 下 降 算 法 的 瞬 态 特性 。 特 
别 是 对 于 本 例 , 利 用 式 人 4.25) 可 得 掉头 各 向 量 


_ | wile) 
mer E 
_ | -ar 一 (ai + ala) v2 
E — {v,(2) - o] 
应 用 式 (4.37) ,可 得 m 变 动 时 [ifnj,wztan)] 的 轨迹 ,如 图 4.9(a) 所 示 。 这 里 已 经 包含 
了 对 应 于 n =0,1,2,3,4,5,/00) REDERE w (n), wtn)] 的 轨迹 。 要 注意 这 些 轨迹 是 椭 
圆 , 而 不 同 于 图 4.8(a)。 
情况 2; FEEF KE yR) =3 
在 表 4.1 的 第 二 组 参数 的 条 件 下 ,特征 值 扩 散 度 y(R) =3, 将 这 些 参 数 代 人 式 (4. 了 4) 和 式 
(4.35) 0049 n 变动 时 [ww (ny,ozfn)] 的 轨迹 ,如 图 4.8(b) 所 示 。 在 式 (4.36) 中 使 用 同样 的 参 
数 ,可 得 对 应 于 n =0,1,2,3,4,5, J(n) 取 固 定 值 时 的 糊 贺 轨迹。 注意 ,对 于 这 组 参数 ,初始 值 
n O 几乎 为 零 ,因此 初始 值 Y(0) 实 际 位 于 v Hh. 
当 作为 变动 参数 时 ,对 应 的 [w(n),w(n)] 的 轨迹 如 图 4.9(b) 所 示 。 


情况 3: 特征 值 扩散 度 yR) = 10 

在 此 条 件 下 ,将 这 些 参数 代入 式 (4.34) 和 式 (4.35) ,可 得 图 4.8{c) 中 [oy(n),v{n)j 随 n 
变动 的 轨迹 。 在 式 (4.36) 中 使 用 同样 的 参数 ,可 得 对 应 于 n=0,1,2,3,4,5,，J(n) 了 到 固定 值 时 
包括 在 该 图 中 的 椭圆 轨迹 。 当 n 作为 变动 参数 时 ,对 应 的 [ww (2), wn) 的 轨迹 如 图 4.9(e) 
所 示 。 

情况 4: 特征 值 扩散 度 x {R} = 100 

对 于 这 种 情况 ,应 用 前 面 的 式 子 ,可 得 [vo. (nn) ,wetn)] 的 轨迹 如 图 4.8(d) 所 示 , 还 可 得 到 
Jin) 取 固定 值 时 的 椭圆 轨迹 ;而 [wi(n) ,wi(n) 的 相应 轨迹 如 图 4.9(d) 所 示 。 


(4.37) 
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图 4.10 是 在 四 个 特征 值 扩 散 分 别 为 1.22,3,10,100 的 情况 下 J(n) 与 n 的 关系 图 。 从 图 
中 可 以 看 出 , 随 着 特征 值 扩散 度 的 增加 (输入 过 程 更 加 相关 ), 最 小 均 方 误差 BD AAA 
测 结 果 也 表明 了 我 们 最 初 的 直觉 :输入 的 相关 性 越 强 ,预测 器 的 效果 就 越 好 。 


1.2 


均 方 误差 Hn) 








6 20 4) H) a 100 120) 140 160 180 200 
时 间 a 


图 4.10 最 速 下 降 法 的 学 习 曲 线 ( 变 忆 特 征 值 扩散 度 , x =0.3) 


4.4.3 实验 2 变 步 长 参数 


在 这 个 试验 中 国定 特征 值 扩散 度 y CR) = 10, 而 且 步 长 参数 jy 可 变 。 特 别 地 ,我们 观察 y 分 别 
为 0.3 和 1.0 时 最 速 下 降 算 法 的 钥 态 特性 。 对 应 的 变换 抽 头 加 入 误差 mm) 与 ma 的 关系 分 别 如 
图 4.11(a) 和 图 4,11(b) 所 示 。 图 4.11(a) 中 的 结果 与 图 4.8(c) 相 同 。 注 意 ,根据 式 (4.22), 步 长 参数 
的 关键 值 为 y=24. = 1.1, 稍 微 超出 了 图 4.11(b) 中 的 实际 值 py =1。 

二 分 别 为 0.3 和 1.0 时 wi(n) 和 ww,(n) 的 轨迹 如 图 4.12(a) 和 图 4.12(b) 所 示 。 这 里 再 一 
次 看 到 ,图 4.12(a) 的 结果 与 图 4,9(c) 相 同 。 


4.4.4 观测 结果 


根据 实验 1 和 实验 2, 我 们 可 以 得 到 如 下 观测 结果 : 


1) 对 于 固定 的 Mn),[wfta),mfn)] 随 nm 变动 的 轨迹 正 交 于 Jan) 固 定时 Fo(na) ,ze(m)] 
的 轨迹 。 这 也 适用 于 jn) 固定 时 [wy(n), wa) OE. 
2) 当 特 征 值 A, 与 a, WEH, Lo, (n),0.0n) All w (rn), w,.(n) BB n 安 动 的 轨迹 是 一 条 


van) 
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直线 ,这 个 情况 如 图 4.8(a) 图 或 4.9(a) 所 未 ,这 时 特征 值 4, 5 A, 几乎 相等 。 

3) 当 变 搞 的 抽 头 权 值 误差 向 量 ytn) 的 初始 值 OAF v, WE 六 轴 的 荣 件 满足 时 ， 
Tein) n (n) JB n 变动 的 轨迹 是 一 条 直线 ,这 个 情况 如 图 4.8p) 所 示 , 这 时 三 40) 玫 
PAF. AAW [w (n), w Cn) EE n 变动 的 轨迹 也 是 一 条 直线 ,如 图 4.9(b) 所 示 。 

4) 除了 两 种 特殊 情况 :(1) 特 征 值 相等 ;:(2) 诗 确 选 择 初始 条 件 ,[m (nn) ,vtn) 随 n 变动 
的 轨迹 沿 着 一 条 弯曲 的 路 径 ,如 图 4.8Ce) Bia. FAM. w (2), wo ln) | 变动 的 
的 软 迹 也 是 一 条 弯曲 的 路 径 , 如 图 4.9(e) 所 示 。 当 特征 值 分 布 很 广 ( 即 输入 数据 相关 
性 很 强 ) 时 ,将 出 现 如 下 两 种 情况 ; 
$ 误差 性 能 曲面 具有 深谷 的 形状 。 

b [oln] mn a) 和 [Lun(n) ,watn)] 的 轨迹 显现 不 同 程 度 的 弯曲 , 当 x CR) = 100 时 分 
SURI 4.8(d) 和 图 4.9(d) 所 示 。 

5) 当 两 个 特征 值 *， A, 相等 或 初始 点 选择 侣 适时 最速 下 降 算法 收 伍 最 快 。 在 这 种 情 
沉 下 ,连接 点 z(t0) ,v01) ,v(2),… 组 成 的 轨迹 是 一 条 直线 ,这 是 最 短路 径 。 

6) 对 于 固定 的 步 长 参数 w， 当 特征 值 扩散 度 增 大 ( 抽 头 输入 相关 和 矩阵 病态 加 剧 ) 时 ， 对 于 固定 
的 nn) ,n=0,1,2. [oa 人 ni 的 棋 圆 轨迹 亿 加 变 罕 ( 即 短 轴 更 短 ) 和 拥挤 。 

7) 当 步 长 参数 o 较 小 时 ,最 迷 下 降 算 法 的 瞬 态 性 能 是 过 阻尼 (overdamped) 的 , 即 连 接点 
Y(0),Y(1),Y(2)… 所 组 成 的 轨迹 沿 着 一 条 连续 路 径 ; 当 步 长 参数 w 达到 最 大 值 
Hanan = 2/Am 有 时 ,最 速 下 降 算 法 的 脆 态 特性 是 欠 阻 尼 (Cumderdamped) 的 , 即 轨 迹 显 现 振 荡 
现象 。 依 据 v,(n) 和 w,(n) ,这 两 种 不 同形 式 的 肯 态 特性 如 图 4.11(a) 和 图 4.11(b) 所 
示 。 而 依据 w,(n) 和 zfa) 的 相应 结果 则 如 图 4.12 所 示 。 


从 这 些 观 测 结果 可 见 :最 速 下 降 算 法 的 瞬 态 特性 对 步 长 参数 jy 和 特征 值 扩散 度 增 大 的 变 
化 是 高 度 敏 感 的 。 


4.5 作为 确定 性 搜索 法 的 最 速 下 降 算法 


在 广义 平稳 随机 过 程 条 件 下 , 自 适 应 横向 滤波 器 误差 性 能 曲面 是 一 个 硫 状 { 即 二 次 ) 曲 面 ， 
并 有 明显 的 极 小 点 。 最 迷 下 降 算法 提供 了 从 任意 初始 点 出 发 寻找 误差 性 能 曲面 极 小 点 的 局 部 
搜索 方法 。 最 如 下降 算法 的 运行 ,取决 于 如 下 三 个 量 : 

8 起 始点 ”由 抽 头 权 向 量 初始 值 w(0) 规 定 。 

@ 梯度 向 量 ”位 于 误差 性 能 曲面 的 特殊 点 (例如 , 抽 头 权 向 量 的 特殊 值 ), 并 由 互相 关 疝 量 


p 和 相关 向 量 和 矩阵 及 惟一 确定 。 
8 步 长 参数 ux 控制 横向 滤波 器 抽 头 权 疝 量 从 算法 的 某 一 次 迭代 到 下 一 次 迭代 的 增 量 变 


化 。 为 了 保证 算法 稳定 性 ,yx 必须 满足 式 {4.22)。 
一 量规 定 了 这 三 个 量 ,最 速 下 降 算法 将 沿 着 多 维权 值 空间 独特 的 路 径 前 进 , 它 从 初始 点 
WOBR AETERNI w。。 换 句 话说 ,在 权 值 空间 中 最 速 下 降 算 法 是 一 种 确定 性 的 搜索 方 
法 。 这 已 被 第 4.4 节 的 实验 结果 所 证 明 。 在 理论 上 ,从 初始 点 w(0) 到 最 优 解 w, 需要 无 穷 多 
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次 迭代 。 然 而 ,实际 上 ,为 了 获得 足够 接近 最 优 解 w, 的 抽 头 权 向 量 , 我 们 只 需要 对 横向 滤波 
髓 进行 了 有 限 次 算法 迭代 ,具体 碗 代 次 数 可 由 设计 者 的 设计 日 标 来 定 。 


4.6 ”最速 下 降 算法 的 优点 与 局 限 性 


最 速 下 降 算 法 的 优点 在 于 它 的 简单 性 ,这 一 点 很 容易 从 式 (4.10) 看 出 。 然 而 ,正如 第 4.5 
英 所 指出 的 ,我 们 需要 大 量 的 迭代 ,才能 使 该 算法 收敛 于 充分 接近 最 优 解 w, 的 点 。 这 个 性 能 
限制 是 由 于 最 速 下 降 算法 是 以 围绕 当前 点 的 误差 性 能 曲面 的 线性 (一 阶 ) 近 似 为 基础 的 。 


4.6.1 牛顿 法 


为 了 克服 最 速 下 降 算 法 的 局 限 性 ,可 围绕 当前 点 [ 记 为 w(n)] 进 行 误差 性 能 曲面 的 二 次 
(例如 二 阶 ) 逼 近 。 为 此 ,在 wl) 处 将 代价 函数 J(w) 展 成 二 阶 泰坦 级 数 


JEW) = Hw) + (w = wl) Pen) + 3 (w — wy Aw — wm) (4.39) 


其 中 右上 角 的 表示 挨 尔 米 特 转 置 ,向 量 








(4.39) 


E w(n) 处 计算 的 梯度 ,而 矩阵 


(4.40) 








w= win) 
是 w(a) 处 代价 函数 Fw) BPR (Hessian) SRE, SHI wOn Ab Jw) AU REBUT EK (4.38) 
的 简化 形式 。 式 (4.38) 对 wR IES SHAR, OR PCa CBR ae ERE TB 
新 点 ) 为 
wii +1) = wn) — Higtn) (4,41) 
其 中 Wo (n EEE A nm) 的 道 和 矩阵 。 这 个 选 代 方程 就 是 最 优化 理论 中 牛顿 法 选 代 公 式 
(修改 形式 的 牛顿 法 ,如 习题 15)。 
对 于 式 (4.8) 的 二 次 代价 函数 ,梯度 向 量 由 式 (4.9) 定 义 。 另 外 , 式 (4.9) 最 后 一 行 对 win) 
求 导 ,可 得 
H(n) = 2R (4.42) 
除了 标 度 因 子 外 , 式 (4.8) 的 二 次 代价 函数 的 海 森 和 矩阵 等 于 抽 头 输入 向 量 由 nA R, 
因此 ,将 式 (4.9) 和 式 (4.42) 代 入 式 (4.41) ,我 们 得 到 
w{n + 1) = win) — > R(-2p + 2Rw(n)) 
-1 (4.43) 
= Wo 
式 (4.4) 表 明 , 和 牛顿 法 可 以 从 该 { 二 次 ) 误 差 曲面 任 一 点 wa A RERE REA w.。 然 而 性 
能 的 改善 需要 使 用 相关 矩阵 及 的 求 逆 运 算 , 这 也 是 为 什么 使 用 最 速 下 降 算 法 的 一 个 原因 。 
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从 以 上 讨论 可 得 如 下 绪论: 如果 计算 的 简单 性 相对 重要 ,那么 在 广义 平稳 随机 过 程 中 ,人 
们 更 喜欢 采用 最 速 下 降 算法 计算 横向 滤波 器 抽 头 权 向 量 ; 另 一 方面 ,如 果 收 合 速 率 是 人 们 感 兴 
趣 的 问题 , 则 牛顿 法 及 其 改进 型 是 首选 方案 。 


4.7 本 章 小 结 


给 定 如 下 两 种 集 平均 量 : 


© AA HANA 
o 抽 头 输入 向 量 和 期 望 响 应 的 互相 关 疝 量 。 


最 速 下 降 算 法 提供 了 计算 维 纳 滤波 器 抽 头 权 向 量 的 简单 步 又。 最 速 下 降 算法 的 一 个 重要 特点 
是 存在 反馈 , 换 句 话说 ,这 个 算法 实际 上 是 递归 的 。 因 此 ,我 们 必须 特别 注意 算法 的 稳定 性 问 
题 ,而 稳定 性 受制 于 算法 反馈 环 中 的 两 个 参数 


9 步 长 大 小 参数 pr。 
抽 头 输入 向 量 的 相关 甜 阵 R。 


特别 地 ,算法 稳定 性 的 充 要 条 件 具体 化 为 如 下 条 件 


种 过 中 去 





man 


其 中 A EEE R 的 最 大 特征 值 。 
此 外 ,依赖 于 步 长 参数 oo 的 信 ,最 速 下 降 算法 的 瞬 态 响应 特性 呈现 如 下 三 种 形式 之 一 : 
o 六 阻 尼 响 应 ,这 种 情况 下 抽 头 权 向 量 向 最 优 维 纳 解 逼近 时 的 轨迹 是 振 费 的 ; 当 p 较 大 
时 会 出 现 这 种 情况 。 
© 过 阻尼 响应 ,其 轨迹 不 呈现 振荡 特性 , 它 发 生 在 py 较 小 时 。 
e 临界 阻尼 响应 ,这 是 一 种 介 于 欠 阻 尼 与 过 阻尼 条 件 之 闻 的 分 界 点 。 


遗憾 的 是 ,这 些 条 件 一 般 不 能 用 来 进行 精确 的 数学 分 析 , 而 通常 只 能 用 来 做 实验 评价 。 


4.8 习题 


1. 考 虑 维 纳 滤波 问题 ,其 有 关 参 数 如 下 ; 抽 头 输 人 向 量 wn) OA RUA a(n) SB 
应 d(n) 之 同 的 互相 关 向 量 p 分 别 为 


fa r] 
R= [as 1 

Kk | 
”| 025 


(a) 寻找 步 长 参数 xz 的 一 个 适当 的 值 ,使 得 基于 给 定 和 矩阵 R HRE TERERAA. 
(b) 使 用 (a) 中 得 到 的 值 ,确定 计算 抽 头 权 向 量 w(n) 的 wi(n) 和 和 wz(n) 元 素 时 的 递归 。 计 
算 时 假设 初始 值 为 
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w{0) = w0) = 0 
(c) 当 由 0 趋 近 于 无 限时 ,考察 步 长 参数 e BHAA wn E, 
2. 使 用 单个 抽 头 权 值 w 的 实 值 滤波 器 的 误差 性 舱 [ 见 式 {2.50) 定义 为 
J= day + OV — w,) 
其 中 rt0) 是 抽 头 输入 uin) TES AER BPR, Jm ED Eg TT Re, w, 是 抽 头 权 值 
w 最 优 维 纳 解 。 
(a) 确定 用 来 递归 计算 最 优 解 w, RET RARE KRSM 的 界 。 
(b) 确定 滤波 器 的 时 间 常 数 。 
Co) 画 出 滤波 器 的 学 习 曲 线 。 
3. 继 续 习 题 2, 做 如 下 事情 ， 
(a) 根据 其 公有 的 自然 模式 vn) IRS TA. 
(b) 计算 均 方 误差 对 滤波 器 自然 模式 的 一 阶 导数 。 
4. 从 估计 误差 的 公式 出 发 ,通过 如 下 公式 
eln) = din) wi{njn{n) 
其 中 din) BERIKA u(n ERRAR A EE, wO n EE TE a AR BBS 
平方 误差 | e(n) i? 梯度 为 
Vi (na) = ~2u(n)d*(n) + une (awn) 
5, 在 这 个 习题 中 ,我 们 采用 另外 一 种 方法 来 推导 基于 式 (4.9) 的 调整 横向 滤波 器 抽 头 权 向 量 的 
最 速 下 降 算 法 。 正 定 和 矩阵 的 道 矩 阵 可 展 成 级 数 形式 


R” = „Ši ~ RY 
其 中 了 是 单位 矩阵 , p 是 正常 数 。 为 了 保证 级 数 收 全 ,常数 y 应 当 在 如 下 区 间 


2 
ee 
eS 


max 


RP A EER RABE. He AAN-BADEPMRER CER ERR 
数 展开 ,得 到 如 下 递归 关系 式 
win + 1} = win} + plp 一 Rw(n)| 
其 中 
win) = :Sl 一 有) 外 
是 抽 头 权 向 量 维 纳 解 的 近似 。 
6. 当 步 长 参数 u 为 负 值 时 ,最 速 下 降 算法 将 不 稳定 。 试 证 明 这 个 结论 的 正确 性 。 
7. 在 最 速 下 降 算法 中 ,经 过 n + 1 次 兴 代 后 的 抽 头 权 向 量 的 校正 可 以 表达 为 
8 人 二 1 = pé[utnje*(n)| 
其 中 afa) 是 抽 头 输 人 向 量 ,e(na) 是 估计 误差 。 在 误差 性 能 曲面 极 小 点 处 ,这 个 调整 会 发 生 
什么 情况 ? 根据 正 交 性 原理 ,讨论 这 个 答案 。 
8. 式 (4.29) 定 义 了 最 速 下 降 算法 中 均 方 误差 J(m) 随 ”变化 的 髓 态 特性 。 令 J(0) 和 IC 


10. 


ti. 
, 三 阶 AR 过 程 的 预测 误差 滤波 器 用 差分 方程 描述 为 


13. 


14. 
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MAET J OTR ARE. ER TT Ta oh 
damal) = [£(0) - J (oa) le"? + Flo) 
拟 全 该 瞬 态 特性 , 式 中 z 为 丰 效 时 间 常 数 ， FES z 的 选择 满足 如 下 条 件 
Fapprox(1) = ACL) 
HEI pok BA SB RES r 的 倒数 ) 为 


Lf F(0) — #{oo) 
ml 7 = ed 





T 





并 使 用 式 (4.29) ,找到 二 的 值 。 假 设 初始 值 w(0) 为 0, 步 长 参数 彤 较 小 。 ， 


.考虑 一 阶 自 回归 (CAR) 过 程 ,其 差分 方程 描述 为 


uin) = -au(a ~ l} + (rr) 
其 中 a 是 过 程 的 AR 参数 ,y(n) 是 零 均值 .方差 为 oi MARA, 
(a) 建立 一 个 一 阶 线 性 预测 器 来 计算 参数 a。 特 别 地 ,使 用 最 速 下 降 算 法 送 代 求解 参数 a 
的 维 纳 解 。 

(b) 画 出 这 个 习题 的 误差 性 能 曲线 ,并 根据 已 知 参数 标明 曲线 的 极 小 点 。 
(o) 步 长 参数 满足 什么 条 件 才能 保证 收敛 ? 并 证 明 你 的 结论 。 
二 阶 差 分 方程 描述 的 AR 过 程 为 

uin) = —O.5u(n — 1) + ufa- 2) + vn) 


其 中 vy( 5) 为 零 均值 单位 方差 的 白 噪声 。 最 速 下 降 算 法 用 来 近代 计算 u(n HORTA 
预测 器 的 最 优 权 向 量 。 试 求 能 保证 最 速 下 降 算 法 稳定 性 的 步 长 参数 u 的 界 。 
对 于 二 阶 AR 过 程 am) 的 后 向 预测 器 ,重复 习题 10 的 计算 。 


u{n) = —O.5u(n — 1) — O05u(n — 2) + OSu(n — 3) + rv(n) 


AF v(#) 为 零 均值 ,单位 方差 的 日 噪声 。 最 速 下 降 算 法 用 来 迭代 计算 预测 误差 滤波 器 的 
系数 向 量 。 
(a) 计算 AR 过 程 u(n) RE R, 
(b) 计算 和 矩阵 R 的 特征 值 。 
(c) 计算 用 于 最 速 下 降 算 法 的 步 长 参数 u 的 界 。 
考虑 一 阶 滑动 平均 (MA ,moving-average) 过 程 , 其 差分 方程 为 
ulan) = y(n) 一 个 22( — 1) 


其 中 vi ASH .单位 方差 的 白 噪 声 。 将 MA 过 程 应 用 于 前 向 线性 预测 器 。 
(a) MA 过 程 n(n) 用 二 阶 AR 过 程 近似 。 斌 使 用 这 个 近似 ,讨论 选 代 计 算 预 测 器 权 向 量 的 
最 速 下 降 算 法 的 步 长 参数 e 的 界 。 
(b) 重复 (a) 的 计算 ,此 处 on HZR AR 过 程 来 近似 。 
(ce) 讨论 (a) 和 (b) 计 算 结果 的 不 同 特性 。 
(1 ,1) 阶 的 自 回 归 滑 动 平均 (ARMA) 过 程 的 差分 方程 描述 为 
u(n) = —O.5u(a -- 1) + efin) — 0.2r(n — 1) 
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其 中 "nm) 为 零 均 值 .单位 方差 的 白 噪声 。 过 程 n(n) 应 用 于 预测 误差 滤波 器 。 为 了 计算 滤 
波 器 的 系数 向 量 , ARMA 过 程 用 三 阶 AR 过 程 近似 。 

(a) 确定 近似 的 AR 过 程 的 系数 ,进而 求 对 应 的 x 3 相关 矩阵 R. 

(b) 计算 (a) 中 得 到 的 相关 矩阵 R 的 特征 值 。 


(c) 确定 选 代 计 算 预 测 误差 滤波 器 系数 向 量 的 最 速 下 降 算 法 中 的 步 长 参数 px 的 界 。 
15. 将 步 长 参数 j: 引信 到 牛顿 方程 中 ,我 们 修改 式 (4.43) 为 


win t+ 1) = wn) + uR {p- Rw(n)) 
= (1-p)w(n) + pR“p 
并 遵循 类 似 于 第 4.3 节 最 速 下 降 算法 所 描述 的 步 又 ,研究 牛顿 算法 的 瞬 态 特性 。 即 证 明 
(a) 牛顿 算法 的 瞬 态 特性 是 一 个 单一 的 指数 形式 ,其 时 间 常 数 = 定义 为 
(1 - p= eth 


(b) 4 小 于 1 时 ,时 间 常 数 为 
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在 这 : - 章 ,我 们 研究 .种 广泛 使 用 的 算法 理论 ,该 算法 由 其 创始 人 Widow il Hoff( 1960) 47 
44a Fes} Sy (LMS, least-mean-square) FEFE. LMS 竺 法 足 随 机 梯度 算法 族 中 的 --… 员 ， 合 用 “和 随 
机 梯度 "一 词 是 为 了 将 LMS 算法 与 最 速 下 降 算法 区 别 开 来 。 该 算法 在 随机 输 人 维 纳 滤波 器 递 
归 计 算 中 使 用 确定 性 梯度 ,，LMS 算法 的 一 个 显著 特点 是 它 的 简单 性 。 此 外 , 它 不 天 要 计算 有 
关 的 相关 立 数 ,也 不 需要 抠 阵 求 赣 运算 、 事 实 上 上 , 正 吓 因为 LMS 算法 的 简单 性 ,使 得 它 成 为 其 
他 线性 自 适应 滤波 算法 的 参照 标准 。 

本 章 内 容 还 包含 计算 机 实验 所 去 持 的 LMS 算法 收 敏 性 的 详细 分 析 。 下 面 我 们 从 回顾 
LMS 算法 的 结构 和 运算 人 手 研 究 该 算法 。 


5.1 最 小 均 方 算法 的 结构 与 运算 概述 


LMS 算 潜 是 线性 月 适应 滤波 算法 .一 般 来 说 , 它 包 含 两 个 基本 过 程 : 
1) Ait (filtering process) 包括 :Ca) 计 算 线 性 滤波 器 输出 对 输入 信号 的 响应 ;(b) 通 
过 比较 输出 结果 与 期 望 响 应 产生 估计 误 莽 。 

2) 自 适 应 过 程 (adaptive process) ”根据 估计 误差 自动 调整 滤波 器 参数 。 
这 两 个 过 程 一 起 工作 组 成 一 个 反馈 环 , 如 图 5.1(8} 所 示 。 首 先 , 我 们 有 一 个 横向 滤波 器 (围绕 
它 构造 LMS 算法 ); 该 部 件 的 作用 在 于 完成 滤波 过 程 。 其 次 ,我 们 有 一 个 对 横向 滤波 器 抽 头 权 
值 进行 自 适 应 控制 过 程 的 算法 , 即 图 中 标明 的 “ 自 适应 控制 算法 "部 分 。 

横向 滤波 器 各 部 分 的 细节 如 图 5.1b) 所 示 。 抽 头 输入 nln) ulna - Lula - M41) 
为 Mx 1 Hak Ale at wtn) 的 元 素 , 其 中 上 -1 是 延迟 单元 的 个 数 ; 这 些 输 人 人 张 成 一 个 多 维 
空间 (用 qu, 定义 )。 相 应 地 , 抽 头 权 值 ww(n) eo, Cn) wy_1(n) 为 村 x1 折 头 权 向 量 w{n) 的 
C. Witt LMS 算法 计算 这 个 血 量 所 得 的 值 表 示 - -个 估计 ,当选 代 次 数 趋 近 无 穷 时 .该 估计 
的 期 望 值 可 能 接近 维 纳 解 w.( 对 于 广义 平稳 过 程 )。 

在 滤波 过 程 中 ,期 望 响应 da(n) 与 抽 头 输入 向 量 ugn) 一 道 参与 处 理 。 在 这 种 情况 下 ,给 定 
一 个 输 人 ,横向 小波 器 产生 一 个 输出 dl, ) 作 为 期 望 响应 dt rw) 的 估计 。 因 此 ,我 们 可 把 估 
计 误 差 eln) 定 义 为 期 望 响 应 与 实际 滤波 器 输出 之 差 ,如 图 5.1(b) 所 示 。 估 计 误 差 eln) 
头 输入 向 量 u(n) 都 被 加 到 自 适应 控制 部 分 ,因此 围绕 抽 头 权 值 的 反馈 环 是 闭环 的 。 

图 5.1(e) 表 示 自 适应 权 值 控制 机 制 的 详细 结构 。 特 别 地 ,首先 对 上 =0,1,...,MM-2， 
M —1 RAGHU e(n) 与 抽 头 输入 u(n- DWAR. MBAR UT REM Ow, (n), CH 
在 第 n+ 1 次 迭代 中 应 用 于 w,(n}。 用 在 计算 中 所 用 的 标 度 因 子 用 正 数 o 表示 , 称 为 步 长 参 
数 ,如 图 5.1(c) 所 示 。 

将 图 5.1(c) 所 示 LMS 算法 与 图 4.2 的 最 速 下 降 算法 相 比 较 , 可 以 看 出 LMS 算法 使 用 
ulna = kbe’ (k FERRARI CGS k 个 元 素 的 估计 ,而 VJ(m) 体 现 了 最 速 下 降 算 法 的 特点 。 
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图 5.1 自 适 应 横向 滤波 器 结构 与 权 值 控制 算法 模型 


摘 句 话说 ,图 5.1(c) 的 所 有 路 径 都 移 走 了 一 个 期 望 算 子 。 因 此 , LMS 算法 中 每 个 抽 头 权 值 的 
迭代 计算 都 不 可 和 避免 地 爱 到 梯度 噪声 的 影响 。 
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PSEA ET TIAA ol AU ay d 5) 都 取 自 联合 广义 平稳 过 程 。 特 
别 地 ,期 望 响 应 dm) 与 输入 向 量 a( 8) 之 间 的 线性 关系 是 通过 回归 模型 建立 起 来 的 ,该 模型 参 
数 向 生 末 知 ,从 而 需要 自 适 应 滤波 。 在 这 个 环境 下 ,由 第 4 章 可 知 ,最 速 下 降 算法 根据 确定 性 
轨迹 沿 着 误差 性 能 曲面 计算 山头 权 同 量 wftz) ,最 后 终止 十 维 纳 解 Ww,。 男 - - 方 而 ,由 于 梯度 曲 
声 的 存在 ,LMS 算法 的 表现 将 有 所 不 同 : 它 不 是 终止 于 维 纳 解 w, ,由 LMS 算法 得 到 的 拍 冻 权 加 
量 w(n)[ 不 同 于 w(n)] 阅 绕 误 差 性 能 曲面 极 小 点 随机 移动 。 后 面 我 们 将 看 到, 当 jy 较 小 时 这 
种 运动 是 布衣 (Brownian) 运 动 的 一 神 形 式 。 

前 面 我 们 已 经 指出 ,LMS 滤波 器 在 其 运行 过 程 中 包含 皮 馈 ,由 此 引发 稳定 性 问题 。 在 这 种 
情况 下 ,需要 一 种 有 意义 的 准则 , 即 

Jin) 一 Too) Ha 一 00 
其 中 J(aj LMS 滤波 器 在 二 时 刻 所 产生 的 均 方 误 益 ,其 最 终 值 J( %w ) 是 一 个 常数 。 满 足 这 
种 要 求 的 算法 在 均 方 意义 上 是 稳定 的 。 为 了 使 LMS 算法 满足 这 个 要 求 , 步 长 参数 jy 必须 满足 
与 输入 信号 谱 内 容 有 关 的 茶 种 条 件 。 

最 终 值 J % ) 与 维 纳 解 所 获得 的 J 之 共 称 为 额外 均 方 误差 , 记 为 fu(o )。 这 种 差 值 表 
示 用 自 适 应 (随机 ) 机 理 控制 LMS 滤波 器 中 抽 头 权 值 的 方法 取代 最 速 下 降 算 法 中 的 确定 性 方 
法 所 付出 的 代价 。J。( OF J 的 比值 称 为 失调 , 它 是 LMS 算法 得 到 的 稳 态 解 与 维 纳 解 相 善 
程度 的 量度 。 然 而 ,应 该 认识 到 ,失调 是 处 于 设计 者 的 榨 制 之 下 。 特 别 是 ,围绕 抽 头 权 值 起 作 
用 的 反馈 环 很 像 一 个 改 通 滤波 器 ,其 "平均 "时 间 常 数 与 步 长 参数 上 成 反比。 因此 ,通过 设置 
较 小 的 p, 自 适 应 过 程 本 以 较 慢 地 进行 ,梯度 噪声 对 抽 头 权 值 的 影响 可 在 很 大 程度 上 滤 除 。 这 
亦 可 大 大 减少 失调 的 影响 。 

因此 ,我 们 可 以 说 LMS 算法 的 实现 是 简单 的 ,同时 通过 对 外 部 环境 的 自 适应 , 它 也 能 够 提 
供 很 高 的 性 能 。 然 而 ,为 了 应 用 这 种 读 波 器 ,应 该 特别 注意 步 长 因子 的 合适 选择 。 影 响 步 长 因 
子 选 择 的 因素 将 在 第 5.4 节 介绍 。 然 而 ,首先 和 最 重要 的 是 要 导出 LMS 算法 。 下 一 节 , 我 们 
将 依赖 前 而 所 介绍 的 最 速 下 降 算法 知识 来 做 这 一 工作 。 





5.2 最 小 均 方 自 适应 算法 


如 果 可 以 精确 测量 每 一 次 选 代 ”的 梯度 向 量 VJ(na) ,而 且 如 果 步 长 参数 jy 合适 选取 , 则 

由 最 速 下 降 算法 获得 的 拙 头 权 向 量 将 会 收敛 于 维 纳 解 。 然 而 ,事实 上 梯度 向 量 的 精确 测量 是 

不 可 能 的 ,因为 它 需 要 知道 抽 头 输入 的 相关 和 矩阵 阴 以 及 抽 头 输入 与 期 望 响应 之 间 的 互相 关 问 

E p 的 先 验 知识 [ 见 式 (4.8)]。 因 此 , 当 该 算法 运行 在 未 知 环境 时 ,必须 根据 可 用 数据 估计 梯 

AY In) 

37 HES BOE RV (EK Be RO A Se 
响应 之 间 的 互相 关 向 量 p RIHAR. 8) AAEM, BSP 

Vi(n) = -2p + 2Rw(1) (5.1) 

和 估计 器 的 最 简单 选择 是 使 用 基于 抽 头 输入 向 量 和 期 望 响应 的 R 和 p 的 瞬 态 估计 ,， 分别 定义 为 

R(n) = n(nju” irn) (5.2) 
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和 
pin) = ulnjd*(n) (5.3) 
因此 ,梯度 向 量 的 瞬 态 估计 为 
Viin) = —2u(n)d*(n) + 2u(nju" (n(n) (5.4) 
AAR AE EA nT, ARS AAT RE wn) RA un) 
的 随机 向 量 。 注 意 , 估 计 Ar(n) 也 可 以 看 做 梯度 算 子 V 应 用 于 瞬 态 均 方 误 美 le(n)1( 见 第 4 
章 习题 2)。 
将 式 (5.4) 的 估计 梯度 向 量 VJI(n) 的 代入 式 (4.7) 的 最 速 下 降 算 法 ,可 得 一 个 新 的 更新 抽 
头 向 量 的 递归 关系 式 

















Wat 1) = Win) + gula)fd*(n) — a (nw(n)| (5.5) 
zE FR TT AS a FS oe Re a TSG A Dad a EAS a ROAR 
效 地 ,可 用 三 个 基本 关系 形式 写 出 结果 如 下 : 


1 滤波 输出 
y(n) = Ë (n)ju{a) (5.6) 
2) 估 计 误差 或 误差 信号 ( 充 替 司 用 ] 
eln) = d(n) 一 y(n) (5.7) 
ikp EA Ae 
win + 1) = Wn) + pu(mje*(n) (5.8) 


式 (5.6) 和 式 (5.7) 定 义 了 估计 误差 e(n) ,其 计算 基于 抽 头 权 向 量 w(n) 的 当前 估计 。 注 意 , 式 
(5.8) 右 边 的 第 二 项 pune’ (nm) 代 表 了 抽 头 权 向 量 w(m) 的 当前 估计 的 调整 量 。 该 选 代 过 程 
从 某 一 初始 猜测 点 w(0) 开 始 。 

式 (5.6) ~ 式 (5.8) 所 描述 的 算法 是 自 适应 LMS 算法 的 复数 形式 。 在 每 一 次 迭代 或 时 间 
更 新 中 ,这 个 算法 都 需要 n(n),d(n) 和 Ww(n) 最 近 值 的 知识 。LMS 算法 是 随机 梯度 算法 族 中 
一 员 。 特 别 是 当 LMS 算法 应 用 于 随机 输入 时 ,从 一 个 选 伐 循环 到 下 一 短 环 所 允许 的 方向 是 完 
全 随机 的 ,因此 不 能 把 允许 方向 看 做 虫 纯 梯 度 方向 组 成 。 

图 5.2 给 出 了 反馈 模型 形式 的 LMS 算法 的 信和 号 流 图 表示 。 这 个 模型 很 像 描 述 最 速 下 降 
算法 的 图 4.3 的 反馈 模型 。 这 个 信号 流 图 清楚 地 说 明了 LMS 算法 的 简单 性 。 特 别 是 ,从 图 中 
我 们 可 以 发 现 ,LMS 算法 在 一 次 选 代 中 只 需要 2 哮 + 1 复数 乘法 和 2M 复数 加 法 ,这 里 M Ea 
适应 横向 滤波 器 中 抽 头 权 值 的 数 且 。 换 名 话说 ,计算 复杂 度 为 0(MM)。 

分 别 由 式 (5.2) 和 和 式 (5.3) 给 出 的 瞬 态 估计 RR 和 Pp 均 有 较 大 的 变化 。 乍 一 看 ,似乎 LMS 算 
法 性 能 并 不 很 好 ,因为 算法 使 用 瞬 态 估计 。 但 是 我 们 应 该 记 住 ,LMS 算法 在 性 质 上 是 选 代 的 ， 
而且 在 自 适应 过 程 中 算法 自身 能 够 对 这 些 估 计 进 行 平均 。 


D Widow 等 (19755) 原 来 提出 的 EMS 算法 的 复数 形式 与 式 (5.6] - 式 (5.) 所 描述 的 算法 形式 稍 有 不 同 。Widtow BH 
届 作 者 的 推导 基于 桂 关 甜 阵 的 如 下 定名 :及 = Elu (nju tn).。 相 反 , 蕊 (5.5) 到 式 (5.8) 所 描述 的 LMS 算法 则 基 
丁 由 闫 算 阵 的 如 下 定义 :R= ELutn)u*(n)]， 采用 复 值 数据 相关 和 矩阵 定 广 的 后 一 种 方式 是 实数 据 定 疼 的 旦 败 推 
广 。 
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iml) win) 


图 5.2 LMS AES ERR 


5.2.1 LMS 算法 小 结 
在 表 5,1 PTH LMS 算法 的 小 结 。 这 个 表 也 包 插 对 步 长 因子 允许 值 的 跟 制 , 它 是 
保证 算法 收 伍 所 必需 的 。 有 关 收 黎 必 要 条 件 的 更 多 讨论 见 第 5.4 节 。 
$5.1 LMS 算法 小 结 


Ha: 
M = HSC BIDE) 
n= 步 长 参数 





Qepe a 

其 中 5S 是 抽 头 输入 un ROT EE a 为 中 到 大 
HEA: 

如 果 知 道 抽 头 要 向 量 汉 fa 的 先 验 知 识 , 册 用 它 来 选择 ORE NE ESS w0) = 0 


数据 ; 
o 给 定 的 :u(n) =n HAM «1 抽 头 输入 向 量 


=[u(n),u(n—-1),..., ula- Mey? 
din) = n ARB 
o 要 计算 的 :wfn+1)= n+1 时 刻 抽 头 权 问 量 佑 计 
计算 :对 n=0,4,2..,, 计 算 
e(n)= d(n) -witn)u(n) 


w(n+h)=wln) + pulrje* (Cn) 


值得 指出 的 是 ,虽然 在 表 5.1 中 总 结 的 LMS 算法 推导 完全 基于 广义 平稳 随机 信和 号 ,但 这 
个 算法 也 可 应 用 于 如 下 情况: 
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e 确定 性 环境 RASC A LEE wa) oy dn AMEE. 
@ 非 平 稳 环 境 这 里 有 一 个 额外 的 要 求 , 即 环 境 中 统计 变化 的 跟踪 , 详 见 第 14 章 。 


5.3 应 用 示例 

在 进一步 分 析 LMS 算法 收 伍 性 之 前 , 了 和解 这 个 重要 算法 的 通用 性 是 很 有 好 处 的 。 下 面 ， 
我 们 通过 介绍 LMS 算法 的 六 个 不 同 应 用 来 进行 这 一 工作 。 
5.3.1 应 用 之 一 :复数 LMS 算法 的 典型 模型 


式 (5.6) ~ 式 (5.8) 所 描述 的 LMS 算法 是 复数 形式 的 ,因为 输 和 人 和 输出 以 及 抽 头 权 值 帮 是 
复数 的 。 为 了 说 明 这 个 算法 的 复数 特点 ,我 们 使 用 复数 形式 将 数据 与 抽 头 权 值 表 示 如 下 : 


拍 头 输入 向 量 


u(n) = u(r) + juo(n) (5.9) 
期 望 响 应 

d(n) = di(n) + jdg(n) (5.10) 
MERGE 

Win) = Wn) + jwin) (5.11) 
Wi) I BE a E 

y(t) = y(n) + jyoln) (5,12) 
估计 误差 

eln} = er + jeoln) (5.13) 


Ap, ATAR 1,Q 分 别 表示 同 相 和 还 交 分 量 , 即 实 部 和 虚 部 。 在 式 (5.6) ~ 式 (5.8) 中 ,利用 
上 述 定义 分 别 对 实 部 与 虚 部 进行 运算 , 司 得 


yín) = wiln)m(n) — Wotn)ugln) (5.14) 
yaln) = wi(n)ug(n) + WO 站 mr (5.15) 
e(a) = diin) — yin) (5.16) 
egln) = doln) ~ yon) (5.17) 
Win +1) = wn} + ple(n)u(n) — ep(n}ug(n)] (5.18) 
holn + 1) = Woln) + pler(n)uoln) + eo(n)u(n)] {5.19) 


式 (5.14) ~ 式 (5.17) 定 义 了 误差 和 输出 信和 号 ,可 用 图 5.3(a) 所 示 的 交 广 耦合 的 信号 流 图 来 表 
示 。 同 样 , 式 (5.18) 和 式 (5.19) 可 用 图 $.3{b) 所 示 的 交叉 耦合 的 信号 流 图 来 表示 。 这 两 幅 赂 
组 成 了 LMS 算法 的 典型 复数 模型 。 这 个 模型 清楚 地 说 明 ,一 个 复数 LMS 算法 等 效 于 一 组 它们 
之 间 具 有 交叉 耦合 的 四 个 实数 LMS 算法 。 

在 色散 信道 上 传输 二 进 制 数据 的 通信 系统 自 适 应 均衡 中 ,需要 复数 LMS 算法 的 典型 模 
型 。 为 了 便于 在 信道 上 传输 数据 ,应 采用 某 种 调制 形式 ,以 使 得 发 送信 号 的 频谱 落 在 信道 的 带 
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宽 之 内 。 此 外 , 为 了 使 频谱 有 效 , 要 使 用 诸如 四 机 脉 移 键 控 (QPSK) 或 M 进 制 正 交 调幅 (QAM ) 
等 调制 技术 ,这 里 信道 输出 的 基带 信号 是 复数 形式 ,这 是 使 用 复数 LMS 算法 的 原因 。 在 任何 
情况 下 ,信道 中 的 数据 传输 这 制 于 下 面 随 个 因素 : 


es FQ THUS) ERAT E, 
s RRE 它 产 牛 在 信道 输出 端 ( 即 接 收 机 的 输入 端 )。 


对 于 带 限 信道 (如 语音 级 的 电话 信道 ) S 是 限制 数据 高 速 传输 的 主要 因素 。 自 适应 均衡 融通 
和 放 在 接收 机 中 。 出 于 信道 输出 作为 激励 源 应 用 于 均衡 器 ,其 自由 参数 通过 LMS 算法 进行 调 
整 以 使 为 当前 传输 符号 提供 一 个 估计 。 在 接收 端 ,提供 期 望 啊 应 。 特别 地 ,在 训练 模式 下 ,期 
望 响 应 的 副本 存储 在 接收 机 中 。 自 然 地 ,这 个 存储 参考 信号 的 发 生 器 必须 与 数据 传输 之 前 发 
送 的 训练 序 询 同步 。 广泛 应 用 的 训练 序列 是 具有 像 噪声 那样 宽带 特性 的 伪 噪 声 (PN, pseud- 
onoise) 序 列 ;实际 上 , 它 是 一 种 周期 性 出 现 的 确定 性 信号 。PN 序列 借助 于 反馈 移 位 寄存 器 产 
生 , 它 由 大 量 受 单个 时 钟 控 制 的 连贯 双 状 态 记 忆 级 ( 双 稳 态 触发 器 ) 组 成 。 由 记忆 级 输出 的 “ 模 
2 和 "组 成 的 反馈 信号 ,用 于 移 位 寄存 器 的 第 一 级 ,以 防止 它 是 空 的 。 一 且 训 练 模式 完成 ,数据 
即 开始 在 信道 中 传输 。 为 了 使 自 适应 均衡 器 能 够 在 信号 传输 时 由 踪 信道 的 统计 变化 ,均衡 器 
切换 到 面向 判决 的 模式 ,更 多 细节 参见 第 16 章 的 讲述 。 














u(n) y(n) 


ugin) Yoh) 





doin) 


(a) 误差 和 输出 信号 
图 5.3 复数 LMS 算法 的 典型 模型 流 图 表示 
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wn} win D 


ugin) b ooet) 





rAr) 


(b) MARAEA E 
图 5.3 复数 LMS 算 法 的 典型 信号 流 图 表示 ( 续 ) 


5.3.2 应 用 之 二 :处 理 时 变 地 震 数据 的 自 适应 有 反 卷 积 


在 地 震 学 研究 中 ,我们 经 常 考虑 到 地 球 分 层 模 型 。 为 了 收集 ( 即 记录 ) 地 震 数据 以 表征 这 
种 模型 并 由 此 揭示 地 球 表面 的 复杂 性 ,通常 使 用 反射 地 震 学 的 方法 。 这 包括 如 下 部 分 : 

e 地 震 能 量 源 , 其 典型 活动 在 地 球 表面 进行 。 

$ 地 层 间 界面 的 地 震波 传播 。 

e@ 获得 并 记录 地 震波 的 返回 (地 质 界面 地 震波 的 反射 ), 它 携带 关于 地 球 内 部 的 结构 信息 。 
地 震 探 测 中 的 一 个 重要 问题 是 ,解释 来 自 不 同 地 层 返 回 的 地 震波 。 这 种 解释 是 辨识 不 同 地 这 
层 (如 岩石 层 、 砂 层 或 沉积 层 ) 的 基础 。 这 些 沉积 居 是 人 们 特别 感 兴趣 的 ,因为 它 可 能 包含 碳 氢 
化 合 物 储 油层 。 地 球 分 层 模 型 的 思想 在 这 里 起 者 关键 作用 。 

图 5.4 给 出 分 层 地 球 的 抽 头 延迟 线 模 型 。 该 模型 表示 地 球 表面 传播 (散射 ) 现 象 的 局 部 参 
数 化 。 根 据 图 中 模型 ,输入 地 震波 s(n) 与 输出 地 震波 x(z) 之 间 的 卷 积 和 关系 为 


M-1 
u(n) = S wsln — k) 
k=O 


这 里 假设 了 一 个 长 度 为 M -1 的 模型 ,其 中 wo ,zol wa ASR PP, ERR T BUEN 
窑 间 映射 或 传播 介质 的 脉冲 响应 。 要 解决 的 问题 可 表示 为 如 下 系统 辨识 问题 : 


给 定 地 震波 图 ， 即 地 震波 过 加 的 记录 [如 wu(n)]， 估计 介质 的 脉冲 响应 wo 





图 5.4 分 层 地 妹 延 抽 头 时 线 异 型 


该 估计 ( 称 为 地 坊 反 卷 积 ) 去 除了 s(n) 与 w, 卷 积 的 影响 。 然 而 ,由 于 输入 地 震波 s(n) 实 
际 上 未 知 ,因此 这 个 问题 是 很 复杂 的 。 为 了 克服 这 个 困难 ,可 用 下 面 两 种 方法 : 
© TALS ÆA (predictive deconvolution) © ZATARRA DAZ RTA E 
理论 。 
生育 反 卷 积 (blind deconvolution) ERT RTA PHS BA rat fe ,而 在 
预测 反 着 积 中 忽略 了 该 信息 。 
几 这 一 节 ,我 们 描述 预测 肥 卷 积 。 育 反 卷 积 将 在 第 16 章 盖 述 。 在 这 两 种 方法 中 ,LDLMS 算 
法 都 起 着 重要 作用 。 
预测 皮 卷 积 依 据 以 下 两 个 假设 (Robinson & Durrani, 1986) : 
e 反 镜 假设 ”把 m. 视 为 目 回归 模型 的 脉 症 啊 应 , 它 隐 含 分 层 地 球 模型 是 最 小 相位 的 。 
s 随机 假设 假设 反射 函数 ( 反 郑 积 的 结果 ) 具 有 白 噪声 特性 ,至 少 在 某 些 选 通 时 间 内 。 


给 定 实 值 地 震波 图 w(n) ,我们 可 使 用 实 值 LMS 算法 解 预测 反 卷 积 问题 ,其 步骤 如 下 : 


o 利用 杂 维 算 子 w(n) 并 根据 数据 产生 一 个 预测 轨迹 , 即 
un + A) = W'(n)u(n) (5.20) 








其 中 
W{n) = [ tole), (0), Dayal) 
u(n) = [u(n),u(n — 1)... u(n — M + 1 
E As 1 是 预测 深度 (prediction depth} 或 解 相关 延迟 (decomelation delay) , 它 是 在 单位 抽 
样 周期 内 测量 的 。 
e 反 卷 积 后 的 轨迹 y(n) 定 义 为 输入 与 预测 样 值 之 差 , 即 
y(n} = u(n) 一 uln) 





信 。 Schmeider(1978,p.29) 纵 出 了 对 预测 反 着 积 的 评价 :过 去 5 EK REBT RE OR BRE ER 
设 反 射 函 数 是 统计 上 白色 的 ,下 卷 积 小 波 荐 最 小 机 位 的 ， 朋 人 说 这 不 是 … 种 有 效 工 具 , 这 等 于 宣告 凡 二 英里 的 地 
震 探 测 处 理 森 合适 ,也 是 对 根据 这 些 数 据 探 测 出 数 百 万 构 石 油 这 一 事实 的 尘 定 。 
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o 算 子 w(m) 的 更 新 值 为 
Win t+ 1) = (nm) + alafia + A) — fn + A) jula) (5.21) 


式 (5.20) 和 式 (5.21) 组 成 了 基于 LMS CA ARERR. AIA 
点 Ww(0}) 开 始 进 行 。 


5.3.3 应 用 之 三 : 瞬 态 频率 测量 


在 这 个 例子 中 ,我 们 研究 如 何以 LMS 算法 为 基础 对 快 变 功率 谱 表 征 的 窄带 售 怠 频率 进行 
估计 。 为 此 ,首先 说 明 二 个 基本 思路 之 癌 的 联系 :第 1 章 所 研究 的 描述 随机 过 程 的 自如 归 
(AR) 模 型 ;第 3 章 介绍 的 分 析 该 过 程 的 线性 预测 器 ,以 及 估计 AR 参数 的 LMS 算法 ， 

Brine HH ERE, Si SD A w 相 比 ,其 带宽 OO 较 小 ,如 图 5.5 Pas, mp 
{ FM frequeney-modulated ) 信和 号 就 是 罕 带 信和 号 的 一 个 例子 ,只 要 其 载波 频率 足够 高 。 调频 信号 的 
瞬 态 频率 (定义 为 相位 对 时 间 的 导数 ) 随 着 调制 信号 线性 变化 。 考 虚 一 个 OM 阶 时 变 AR 模型 
产生 的 窄带 信号 u(n), 其 差分 方程 为 (很 设 为 实数 据 ) 


u(t} = TÈ anjun — k) 十 pf (5.22) 


其 中 a {n) 为 时 变 模 型 的 参数 ,v(n) 是 零 均值 .方差 为 o (n) HRA, E u(n) AIET 
变 AR 功率 谱 为 [ 见 式 (3.,101)] 
rin) 


M 
1 十 ` alme 
k=1 


-T < wlan 


Sar(@; n) = z (5.23) 








注意 ,极点 聚集 在 * 平面 单位 圆 附近 的 AR ERA RH a S ER A o 





频带 中 心 前 频率 


to 


图 5.5 根据 频谱 定义 的 窄带 信号 


为 了 估计 模型 参数 ,我 们 采用 MM 阶 线性 预测 自 适 应 横向 滤波 器 。 预 测 器 的 抽 头 权 值 表 示 
为 名 (5) ,=1,2,…, 肯 。 当 接收 到 输入 信号 时 ,连续 地 自 适应 调整 抽 头 权 值 。 特 别 地 ,可 用 


如 下 LMS 算法 自 适应 调整 抽 头 权 值 
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wln 1) = w) + pula — k) fy) k= lieg M (5.24) 
其 中 
Af 
Juin) = a(n) — Dnull- k) (5,25) 
k=l 


EMM. FIRMS HA AR 模型 参数 的 关系 为 
-af(n) = 时 刻 m(a) 的 估 值 下 =1,2…, 形 


此 外 ,预测 误差 y(n) 的 平均 功率 提供 了 对 曲 声 方差 ot (na) 的 估计 。 我 们 感 兴 趣 的 是 确 
定 罕 带 信和 号 的 频率 ,内 此 下 面 将 不 考虑 mm) 的 合计 。 特 别 地 ,可 以 只 用 自 适 应 预 训 器 的 抽 头 
权 值 来 定义 时 变频 率 函 数 
1 


Flan) = ; 
1- Sua,f{nje™ 
k=l 


(5.26) 


给 定 fn) 与 eatfn) 之 间 的 关系 ,我 们 看 到 , 式 (5.26) 中 频率 函数 Flos nm) 与 式 (5.23)AR 功率 
谱 Suntw;n) 之 间 的 主要 差异 在 于 其 分 子 的 标 度 因 子 。F{w;n) 的 分 于 恒 为 1, 而 Ssntw;n) 是 
一 个 等 于 有 HERR. Flan OF Sia(w;n) 之 处 有 两 个 方面 :首先 , 式 (5.23) 中 窜 带 频 
谱 所 固有 的 不 人 兢 定 性 0/0 为 式 (5.26) 中 计算 上 易于 处 理 的 极限 1/0 所 替代 ;第 二 ,频率 函数 
Flw;n) 不 受 输入 信号 ulin 幅度 变化 的 影响 ,这 是 因为 F(w; mn) 的 峰值 直接 与 输 人 信号 的 频 
谱 宽 度 有 关 。 

我 们 可 以 使 用 频率 函数 Fes AE SS a RAMS, R OP RR 
(Griffiths, 1975): 

© 自 适 应 预测 器 要 运行 足够 长 的 时 间 , UPAR ASAD RAE 

象 。 

© 正确 选择 步 长 参数 ,以 使 得 对 所 有 n 预测 误差 (nn) 很 小 。 

e 在 从 时 则 (x - MBIT a - 1) 的 自 适 应 预测 器 抽样 范围 内 ,调制 信号 基本 不 变 。 
如 果 忆 上 假设 成 立 , 则 频率 请 数 Pon ERATE tn) 的 瞬 态 频率 处 有 峰值 点 , 历 且 LMS 
算法 可 以 跟 算 奶 态 频率 随时 间 的 变化 。 


5.3.4 应 用 之 四 :应 用 于 正弦 干扰 的 自 适应 噪声 消除 


对 承载 信息 的 信号 造成 损害 的 正弦 干扰 进行 抑制 的 传统 太 法 ,是 使 用 能 调整 干扰 频率 的 
国定 陷 波 器 。 为 了 设计 这 个 滤波 器 ,需要 知道 干扰 的 精确 频率 。 但 是 ,如 果 要 求 陷 儿 器 非常 陡 
峭 ,而 受 干扰 的 正 汞 信号 变化 很 慢 , 又 该 怎么 办 呢 ? 显然 ,这 是 一 个 需要 应 用 自 运 应 方案 才能 
解决 的 问题 。 一 种 解决 方法 是 使 用 自 适 应 噪声 消除 ,这 种 应 用 不 同 于 前 面 的 三 个 例子 ,因为 它 
并 不 是 基于 随机 激励 的 。 

图 5.6 给 出 两 输 入 自 适应 噪声 消除 器 的 框图 。 基 本 输入 由 携带 信息 的 信和 号 和 互 不 相关 的 正弦 
干扰 纠 成 ,而 参考 输入 ,为 相关 形式 的 正弦 和 干扰。 对 于 自 适应 滤波 器 , 末 用 基于 LMS 算法 进行 抽 头 
权 值 自 适应 的 横向 小 波 器 。 该 滤波 器 使 用 参考 输入 ,对 包含 在 基本 输 人 端的 正弦 阐 号 进行 舍 计 。 
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因此 ,从 基本 输入 中 减 五 自 氨 应 滤波 咒 输 出 , 即 可 消除 正 紫 噪声 的 影响 特别 地 ,使 用 LMS 算法 的 
自 适 应 曲 店 消除 能 有 如 下 两 个 重要 特征 (Widrow et al., 1976; Glover, 1977): 
1) 消除 器 像 自 适应 陷 波 右 一 样 工 作 , 共 老 秆 点 由 正弦 干扰 的 角 频 率 ae 决定 。 因 此 ,消除 
器 是 可 调 的 ,其 调 洲 频 涂 随 ow THE. 
2) 通过 选择 足够 小 的 ce, 可 使 得 消除 些 频 率 啊 应 的 陷 波 在 正弦 干扰 处 很 陡峭 。 
因此 ,与 普通 陷 波 器 不 同 ,我 们 可 以 控制 自 适 应 噪点 消除 器 的 频率 响应 。 


基本 输入 
din} 









BRAD 


uin) 


HENES 





图 5.6 AGEM MRA HER ES 


在 这 里 所 考虑 的 应 用 中 ,输入 数据 假设 是 实数 , 则 有 
对 于 其 本 输入 
din} = s(n) + Agcos(agn + po) (5.27) 
式 中 s(n) 是 承载 信息 的 信号 , A。 EER THREE, o 是 归 一 化 角 频 率 , 册 是 相位 。 
@ 对 于 参考 输入 
u(n) = Acos(won + 由 (5.28) 
式 中 幅度 A 和 相位 # 为 不 同 于 基本 输入 的 物理 量 ,但 角 频 率 wo 是 一 样 的 。 


如 果 使 用 实数 形式 的 LMS 算法 , 则 抽 头 权 值 的 更 新 基于 如 下 等 式 


M-L 
y(n) = 2 w,(nju(n att) (5.29) 
e(n) = d{n} — y(n) (5.30) 
和 
win +1) = wn) + uulan — ijela) i=0,1,...,.M-1 (5.31) 


其 中 M 是 横向 滤波 器 的 长 度 ,常数 o 为 步 长 因子 。 为 表示 简单 起 见 , 假 设 LMS 算法 中 输入 数 
据 和 其 他 信号 的 抽样 周期 取 为 单位 时 间 。 这 个 假设 实际 上 贯穿 全 书 。 

用 正弦 激励 作为 感 兴趣 的 输 人 ,重建 自 适 应 滤波 器 框图 ,如 图 $5.7(a) 所 示 。 根 据 这 个 新 
的 表示 ,可 将 正弦 输入 u(n) .横向 滤波 器 和 LMS 算法 的 权 值 更 新 方程 组 合 为 一 个 单一 ( 开 环 ) 
的 系统 。 输 入 为 eln) .输出 为 y(n) 的 自 适应 系统 随时 间 变 化 ,而 且 不 能 用 转移 泌 数 来 表示 。 
避 开 这 个 困难 ,可 得 如 下 结果 :由 于 z=e” 和 zo=e™ ,如 令 自 适应 系统 的 激励 为 e《n)=*, 则 
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Seti y(n} 包 含 王 个 分 量 ; 其 一 正比 于 也 ,其 二 正比 于 Ag RAZZETT Aiad. Ai 
分 量 代 表 转 移 函 数 为 CORTE ASE. 现在 的 工作 是 寻找 CC). 

为 此 ,使 用 如 图 5,7(b) 所 示 的 LMS 算法 的 详细 信和 号 流 图 表示 (Glever,1977)。 在 这 个 框图 
中 ,我 们 对 第 i 个 抽 头 权 值 予以 特别 的 美 注 , 该 抽 头 输入 的 相应 值 为 


a(n) el) 









HRA 


—— eee Ee eee eee ee 


HEAR OC) 
了 





(b) 对 第 ?个 抽 头 权 值 予 以 特别 关注 的 自 适应 噪声 消除 信号 流 图 


图 5.7 自 适应 噪声 消除 器 及 其 信号 流 图 
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中 [用 一 站 一 Acos|wo(n wa fees $] 


_A 


= [efenn bi + pe Koons.) (5.32) 


其 中 
由 三 中 一 coot 
ER 5.70b) PRA ulr- i) STIR en) AER. 因此 ,对 乘积 ulna- eC nit 2 变换 并 
用 zf ' | 表示 该 运算 , RNG Sl 
z[u(n — ietn)| = = eB ze ra) 十 Se mE (ze) (5.33) 


其 中 EC ceo ) 是 围绕 单位 图 道 时 针 旋 转 wo 角度 后 et) 的 z REPRE (2) FR, Eze ) 是 
围绕 单位 画 顺 时 针 旋 转 wo 后 的 变换 。 
其 次 ,对 式 (5.31) 进 行 z 变换 ,得 





Wz) = Wiz) + pzluln — beln)] (5.34) 
其 中 WCE w, (at a ER, X Nae a eae z 变换 ,可 得 
Wiz) = EA cle Blce™) +0 Eze] (5,35) 


FAEERE AEE A SS £29) ESL (S.32) (CASAS. 29) ,得 到 
yin) de A > (ny [element + eante) 


Awe) Se fas te 
MZ) =o 2 [eW {ze e) + ei Wil Ze)] (5.36) 


于 是 ,将 式 (5.35) 代 入 式 (5.36) ,可 得 了 (2 的 表达 式 。 该 表达 式 包括 两 个 分 量 4Clover,1977) ; 
i) 时 不 变 分 量 , 定 义 为 
uMA? ( 1 1 
ee aos T 


它 与 相位 $, 无关 ,因此 也 与 时 间 下 标 i ARo 
2) 与 相位 加 相关 从 而 与 时 间 i 有 关 的 时 变 分 量 。 第 二 个 分 量 在 幅度 上 具有 标 度 因子 
sin{ Man) 
Blos M) = ne 
对 于 给 定 的 角 频 率 w ,假设 横向 滤波 器 中 抽 头 权 值 的 总 数 M EEK , LAR E A Pe 
Blwo, M) _ sin( Map) 


-—--= =Ü 5.37 
M M sin wy i ) 


可 忽略 z 变换 的 时 变 部 分 ,从 而 YC 2 OR NE) EA K, RT UE 


1 1 
-一 + 一 
ee ard ges | oo 














Y(z} = 
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TE, ARBRAR O y(n) 与 e(n) 相 关 ] 为 








_ ¥(z) 
2) = Elo) 
era = + | (5.39) 
4 zee Jo ze — | ' 
RM ( ZCOS a — l 
2 eo) 


BRERA CUE z= e M SRT bP PS SEO TE z = lfcoswo 处 有 一 实数 
FA WO S.8Ca) Stas. PRATER, Ba BAR a PB H E BY fw, WE 
定 ,如 六 所 述 。 根 据 式 (5.39), 可 将 G6(z) 看 做 对 旋转 了 + wo 的 积分 器 。 事 实 上 ,由 图 5.7(b) 
可 见 , 输 入 上 由于 先 与 参考 正弦 序列 wz) 相 乘 再 在 零 频 处 积分 而 首先 频 物 了 + wo ,然后 又 通过 
与 第 二 项 相 乘 移 回 原 处 。 整 个 运算 类 似 于 通信 中 一 项 你 所 周知 的 技术 , 即 涉及 结合 使 用 两 个 
AEG TL a BR SS FE ie a AK ae OR RISE RE BRR A (Wozencraft & Jacobs, 1965; 
Glover, 1977) 。 





Imlz] Im[z] 





(a) 对 于 开 环 夸 移 函 数 C2) (b) 对 于 闭环 转 称 函 数 H(z) 
图 5.8 近似 零 极 忌 分 布 模式 


图 5.7(a) 的 模型 可 看 做 一 个 闭环 反馈 系统 ,其 闭环 转 称 函 数 上 H(z) 与 开 环 转移 函数 CC) 
的 关系 为 Elz) 
H(z} = DO) 
=> 1l 
~ 1+ Gfz) 
其 中 EF(z) 是 系统 输出 e(n) 的 ; 变换 , D(z) 是 系统 输入 d(n) 的 z 变换 。 因 此 ,将 式 45.39) 代 
人 式 (5,40) ,可 得 如 下 近似 结果 


(5.40) 


2 一 2zcosmwo + 1 
Z — 21 — pMA?/4)z cosan + (1 — pMA? /2) 


式 (5.41) 是 二 阶 数字 陷 波 器 的 z 变换 ,其 陷 波 点 即 归 一 化 角 频 率 woo HCN AE Cl) 


A(z) = (5.41) 
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的 极点 , 即 它们 均 位 于 单位 圆 上 的 z= etib. 对 于 较 小 的 步 长 参数 pe CHIU RE) ,有 
pMa << 1 


由 此 ,可 冰山 ACOA iP 





MA? 
z= (1 aie Jer (5.42) 


换 他 话说 ,用 (2) 的 两 个 极点 位 于 单位 加 内 ,半径 省 离 大 约 为 2 全 ,如 图 5.8(b) 所 示 。H(z) 的 


两 个 极点 位 于 单位 阅 内 ,这 意 昧 着 自 适 应 坚 声 消除 澡 是 稳定 的 ,从 市 可 应 用 在 实际 中 ， 

图 5.8(b) 也 包括 了 A(z) AES BA H(z) 的 零点 位 于 单位 图 上 ,于 玄 理 论 上 讲 自 
适应 噪声 消除 器 在 o = wo SPATE RR. BRERA HORRA GEA 
度 决 定 。4 归 带宽 8 由 单位 圆 上 两 个 半 功 率 点 ( 即 极点 到 零点 距离 的 ,2 人 悦 ) 确 定 。 利 用 这 个 
几何 方法 ,可 求 出 自 适 应 躁 声 清除 器 的 3-dB 带宽 近似 为 

ae 弧度 (5.43) 
Al PRBS o BN, BB aE, EAN T eB) 8 e H a 
征 2。 至 此 , 自 适 应 噪声 消除 器 的 分 析 全 部 完成 。 


5.3.5 应 用 之 五 : 自 适应 庶 线 增强 


如 图 5.9 所 未 , 自 适 应 谱 线 增强 器 (ALE,adaptivre line enhancer) 是 一 个 可 用 来 检测 淹没 在 
宽带 躁 声 环境 中 正弦 信和 导 的 系统 中 。 图 说 明 谱 续 增 强 器 实际 上 是 自 适 应 噪声 消除 器 的 一 种 退 
化 形式 ,在 这 个 退化 形式 中 参考 信号 由 基本 (输入 }) 信 号 的 延迟 组 成 。 图 中 用 A 表示 的 延 述 ， 
PRA ALE 的 预测 深度 或 解 相 关 时 延 , 它 以 抽样 周期 为 单元 来 衡量 。 参 考 信号 a(n - A) 由 横向 
滤波 器 处 理 以 便 产 生 误差 信号 ef ma) ,该 误差 定义 为 实际 输入 ula) ALE 输出 y(n)= ula) 
之 差 。 误差 信号 eln) 依 次 用 来 激励 LMS 算法 以 便 调整 滤波 器 的 M PRA. 

考虑 一 个 由 淹没 在 宽带 噪声 (MERNE Asin( won + 向 ) 组 成 的 输入 信号 via), B 

u(n) = Asin(won + by) + v{n) (5.44) 
KH 加 是 随机 相称 ,y(n) 为 零 均 值 .方差 为 a 的 噪声 。ALE 作为 信号 检测 器 基于 如 下 两 个 作 
用 (Treichler, 1979) : 
e 预测 深度 A 假设 大 到 足以 消除 原始 输入 信号 中 噪声 s(n) SBA SS PRE- A) 
之 间 的 自 相 关 ,而 在 这 两 个 输入 正 豆 分 量 之 间 引 人 相 移 wo Ao 

$ 横向 滤波 器 的 抽 头 权 值 用 LMS 算法 进行 调整 ,以 使 得 误差 信号 的 均 方 误差 最 小 ,从 而 

补偿 未 知 相 移 woA。 





Aw 





ALE S24" Widrow 等 (1975b) 的 工 性 。 对 于 宽带 噪声 中 正 张 信号 检测 中 性 能 的 统计 分 析 , 可 参见 Zeidler 等 (1978)、 
Treichler 1979) „Rickard 和 Zeidler( 1979) WA E CMR, ET ALE 的 综述 , 见 Zeidler(1990)。 信 上 好 带宽 的 影响 .输入 
SNR .噪声 相关 性 和 上 赂 声 非 平稳 性 在 Zeidler( 1990) 的 论 立 中 均 有 详细 讨论 。 
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这 两 个 作用 的 最 后 结果 荐 产生 由 包含 在 零 均 值 赂 声 中 正弦 波 组 成 的 输出 信号 y(n)。 特 
别 地 , 当 un 是 除 0 或 7 以 外 n M 的 倍数 时 ,输出 信和 号 可 以 表示 为 (见习 是 4) 


y(n) = aA sin(won + $) + voul) (5.45) 
AA p AR, ral MOEDER KRATEK 
__ (M/2)SNR 
= T4 (M/2)SNR (5.48) 
其 中 M 为 横向 总 该 髓 的 长 度 , 且 
SNR = A (5.47) 
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表示 ALE HAMRI. ARES (S.45), ALE 起 到 自 调 谐 滤波 器 的 必用 ,其 频率 响应 在 答 
入 正弦 波 的 角 频 率 wo 处 出 现 一 个 蜂 值 ,从 而 命名 为 “ 谱 线 增 蝇 器 (spectral line enhancer BK line 
enhancer) a 


u(r} 





5.9 自 适 应 谱 线 增强 器 


Rickard 和 Zeidler(1979) 已 经 证 明 , ALE 输出 的 y(n) 功 率 谱 密度 可 表示 为 


S(w) = TA a + po2M){d{w 一 wo) + Bw + w| + potM 


(5.48) 








aa? [1 — cosM(w — w) 1 + cos M(w — a) 
al 1 — cos(w — w) 1 + cos{@ — a} 

其 中 8) 表示 Dirac 8 函数 。 为 了 理解 式 (5.48) 的 组 成 ,首先 回忆 一 下 第 5.1 节 关 于 LMS 算法 
的 概述 :在 平稳 条 件 下 , 权 向 量 w(zn) 的 均值 收敛 于 维 纳 解 Ww。(n)。 该 特性 合乎 逻辑 的 分 析 将 


| -SOS 
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在 下 - 节 介 绍 。 贰 在 可 以 有 把 握 地 说 , 收 笋 权 向 时 的 稳 态 模型 出 维 纳 解 Ww, 和 零 均 值 随机 分 
量 wfn) 组 成 ,后 者 是 由 梯度 噪声 引起 的 并 与 慢 波 动 并 行 起 作用 。 因 此 , ALE 可 表达 为 图 
5.10 所 示 的 模型 。 


Mr) 





图 5.10 自 适 应 线性 增强 的 模型 


考虑 到 ALE 输入 自身 包含 两 个 分 量 一 一 角 频 率 为 w MERA RMSY WEN o 的 
宽带 噪声 分 莉 wf mn) ,因此 可 将 式 45.48) 的 四 个 分 量 分 类 为 (Zeidiler, 1990); 

骨 频 率 为 m ,平均 功率 为 na? PR 的 正 荡 分 量 , 它 是 权 向 量 为 w, HAIE AEA ee 
Aas HER. 

© 角 频 率 为 wo FR nA oO MP KIERO, CERN Waln) OLR BS 
Sa AEs SEAR. 

9 方差 为 po M MRR, CARILRRE MAP vn ERMA. 

© 经 中 心 为 wo 罕 带 滤波 的 噪声 分 量 , 它 是 维 纳 滤波 器 对 噪声 vn) 作用 的 结果 。 


图 5.11 撒 述 了 这 四 个 分 量 。 仙 此 可 知 , ALE 输出 功率 谱 由 基准 旁 带 滤波 噪声 为 中 心 的 正 艾 信 
号 组 成 ,其 组 合 财 和 在 宽带 噪声 背景 之 中 。 更 重要 的 是 , 当 ALE 输入 的 SNR 合适 时 ，ALE $ 
出 平均 意义 上 将 与 输入 的 正 汞 分 量 近 亿 相 等 ,从 而 只 要 一 个 简单 的 自 适应 系统 就 能 检测 宽带 
噪声 中 的 正弦 信号 。 


5.3.6 应 用 之 六 : 自 适 应 波束 形成 


在 最 后 一 个 例子 中 ,我 们 考虑 LM 算法 的 一 个 空间 应 用 , 即 自 适应 波束 形成 。 为 此 ,我 们 
重新 来 审视 一 下 第 2 章 讨 论 维 纳 证 波 器 理 沦 时 所 研究 的 广义 旁 办 消除 器 (GSC generalized side- 


lobe canceller} a 


图 5.12 是 GSC 的 框图 ,其 运行 隐 含 着 如 下 两 个 作用 的 结合 : 


© 强加 线性 多 重 约 束 ,用 来 保护 沿 着 感 兴 趣 方向 人 射 的 信号 。 
e 根据 LMS 算法 调整 某 些 权 值 ,以 使 干扰 影响 各 波束 形成 器 输出 噪声 最 小 。 
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图 5.11 如 了 输出 信号 功率 谱 密 度 的 四 个 基本 频谱 分 量 











图 5.12 |" RoR aE 


线性 多 重 约束 可 由 M x LIEP CORI. EA Mx (CM - LIR SER C, AS. BE 
阵 定义 为 
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cic=0 (5.49) 

在 GSC 中 ,线性 天 线 阵 元 的 权 向 量 可 表示 为 

win) = w, 一 Cawaln) (5,50) 
其 中 w, (nn) 是 可 调整 权 向 量 ,w, RL, ORR CEA 

w, = C(C"C)'g (5.51) 
式 中 g 是 预 给 的 增益 向 量 。 

波 东 形成 器 输出 为 
e(n) = w'(nju(n) 


= (w, — Cow(n)) n(n) (5.52) 
= wlan) — wi (nf u(r) 
总 之 ,静止 权 向 量 w, 影响 输入 向 量 u(n}) 中 的 一 部 分 , 它 位 于 约束 向 量 C 的 列 所 张 成 的 子 空 
间 中 ;而 可 调 权 向 量 w (nw) 影响 输入 向 量 ol n) 的 余下 部 分 , 它 位 于 信和 号 矩阵 块 C, 的 列 所 张 
成 的 互补 子 空间 中 。 注 意 , 式 (5.52) 中 的 e(n) 相 同 于 式 (2.107) 中 的 y(n). 
根据 式 (5.52) ,内 积 wn(n) 与 期 望 响 应 的 关系 为 
din) = wiu(z) 
通过 采取 相同 的 做 法 ,矩阵 积 Cul EAT ARER w, (PRA YER. OT 
这 一 点 , 令 
x(n) = Chal) 
现在 ,我 们 准备 用 公式 表示 GSC 中 自 适应 调整 权 向 量 wu(n) 的 IMS 算法 。 具 体 来 说 , 即 
wan + 1) = Woln) + wx(nje*(n) 
= wn) + pC un)(w u(n) ~ we (2)Ciu(n)) 


= w,(n) + pEr oN) (a)(w, — Cowaln)) 


其 中 为 步 长 参数 ,其 他 量 在 图 5.12 中 标明 。 


* 


(5.53) 


5.4 统计 LMS 理论 


前 面 ,我 们 将 LMS 滤波 器 称 为 线性 自 适 应 滤波 器 。“ 线 性 " 意 指 其 物理 实现 建立 在 线性 组 
合 器 的 基础 上 。 然 而 事实 上 ,LMS 滤波 器 是 高 度 复杂 的 非 线性 估计 器 , 它 违反 了 选 加 原理 和 齐 
次 性 (homogeneity)。 设 y(n) 表 示 系 统 对 输入 向 量 ma (n) 的 响应 。 类 似 地 , y(n) 表示 系统 对 
输入 向 量 ww (5) 的 响应 。 对 于 一 个 线性 系统 ,组 合 输入 向 量 (n) + 四 (nm) 一 定 导 致 等 于 
yin) + y(n) 的 响应 ;这 个 结果 叫做 要 加 原理 。 此 外 ,线性 系统 还 必须 满足 齐 次 性 特性 , 即 如 
果 y(n) 表 示 系 统 对 输入 向 量 n(n) 的 响应 , 则 系统 对 标 度 输 入 向 量 su(n) 的 响应 一 定 为 
ay(n) ,其 中 a 为 标 度 因 子 。 现 在 考虑 LMS 滤波 器 。 从 初始 条 件 w(0) =0 开始 ,重复 应 用 权 
值 更 新 方程 式 (5.8) ,得 


上 一 1 
wn) = u E Duli) 
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因此 ,LMS 滤波 器 的 输入 输出 关系 可 表 不 为 
y(n) = Wi a)a(n) 


= p eliju( uln) (5.54) 
考虑 到 误差 信号 e( i 与 输入 向 量 u( 1) 有 关 , 由 式 (5.54) 求 出 的 滤波 器 答 出 y( mn) 实际 上 为 输 
AAE n(n) 的 非 线性 函数 。 因 而 LMS 算 法 违背 了 若 加 性 和 齐 次 性 特性 。 

因此 ,尽管 LMS 算法 在 物理 方面 很 简单 ,但 由 于 其 高 度 非 线性 特性 ,其 数学 分 析 将 非常 复 
杂 。 虽然 很 多 文献 在 分 析 LMS 沥 波 器 方面 做 了 大 量 的 研究 ,但 还 没有 见 到 其 稳定 性 和 稳 态 性 
能 的 直接 数学 分 析 , 而 且 很 可 能 人 们 从 未 做 过 这 方面 的 工作 。 不 过 ,无 论 对 平稳 条 件 还 是 非 平 
稳 条 件 下 的 性 能 ,人 们 对 此 已 有 很 好 的 理解 ,这 为 能 够 用 来 设计 LMS 滤波 器 的 一 组 工作 准则 
提供 实际 基础 ,而 这 些 正 是 本 节 所 要 达到 的 日 标 。 

在 进行 LMS 滤波 器 统计 分 析 时 ,我 们 发 现 用 权 值 误差 向 量 比 用 抽 头 权 值 本 身 将 更 加 方 
便 。 为 了 避免 与 第 4 章 最 速 下 降 算法 研究 中 的 记号 混淆 ,这 里 将 LMS 滤波 器 的 权 值 误差 向 量 
定义 为 





e(n) = Wo — e(n) (5.55) 
如 前 ,w, 表示 抽 头 权 向 量 的 最 优 维 纳 解 ,而 win) Aa LMS 滤波 器 在 第 n 次 选 代 中 得 到 的 佑 
值 。 从 最 优 抽 头 权 向 量 w, 中 减 去 式 (5.5) ,再 利用 式 (5.55) 的 定义 , 便 可 从 式 (5.5) 右 边 的 可 
调 项 中 消去 Wn)。 于 是 ,我 们 可 按照 权 值 误 差 向 量 s(n) 把 LMS 算法 重 写 为 


e(n + 1} = [I — won) (a) jetn) — wutn)et(n) (5.56) 
其 中 了 I 是 单位 阵 , 且 
e(n) = d(n) — Wo n(n) (5.57) 
是 最 优 维 纳 滤 波 器 产生 的 估计 误差 。 
5.4.1 直接 平均 法 


式 (5.56) 是 权 值 误差 向 量 s(n) 的 随机 差分 方程 ,其 系统 矩阵 为 [1 -~ pula) wu (n)]。 为 
了 研究 在 平均 意义 上 该 随机 算法 的 收敛 性 ,可 引用 Kushner(1984) 描 述 的 直接 平均 法 (direct- 
averaging method) 。 根 据 这 个 方法 ,如果 LMS 滤波 器 在 小 步 长 参数 假设 下 运行 , 则 由 于 LMS 算法 
的 低 通 滤波 作用 , 式 (5.56) 随 机 差分 方程 的 解 接近 于 另 一 个 随机 差分 方程 的 解 ,而 后 者 的 系统 
矩阵 等 于 集 平均 , 即 

E[I - pu(nju"(n)] = E- wR 
式 中 及 是 抽 头 输 和 人 向量 的 相关 矩阵 。 具 体 来 说 ,我 们 可 用 如 下 随机 差分 方程 
eg(n + 1) = (1 — pR)eoln) — wu(njes(n) (5.58) 

来 代替 式 (5.56) 的 随机 差分 方程 。 

这 里 为 了 表示 清楚 起 见 , 我 们 使 用 符号 和 (nm) 表 示 权 值 误差 向 量 , 它 不 同 于 式 (5.56) 的 表 
示 。 当 然 ,对 于 限制 为 小 步 长 参数 上 的 情况 , 式 (5.56) 的 解 和 式 {5.58) 的 解 是 一 样 的 。 
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5.4.2 Butterweck 的 迭代 过 程 
在 Butterweck(1995,2001) 给 出 移送 代 过 程 中 , 式 (5.58) 的 解 锌 用 做 产生 诛 随 机 差分 方程 式 
(5.56) 全 部 解 的 一 个 出 发 点 。 这 样 得 到 的 解 ,其 精度 将 随 普选 代 次 数 的 增加 而 改善 。 因 此 ,从 
解 (5) 出 发 , 式 (5.56) 的 解 可 表示 为 部 分 函数 之 和 
Et) = Eon) + BIG tea) ts (5.59) 
EF, eiB p0 (5. SORE 8, (2) 8) Ge) E u> O ATR (5.56) BY TR 
a Ry (23 a ee 
P(x) = u(n)u4(n) — R (5.60) 
并 将 式 (5.59} 和 式 (5.60) 代 入 式 (5,56) ,可 得 
ED 中 十 1 十 Et 十 1 十 22 十 1 十 
=(I- pR)fe,(n) + ER) + e[n) + z] 
-AP(nj[eu(a) + e(r) + e(n) +--]) ~ pulnes(n) 
根据 上 式 , 很 容易 导出 联 立 差 分 方程 组 


ein +1) = (I - uR)ef{n) + i(n} PSO 1g 2s any (5.61) 
其 中 下 标 i BRIER. OTEA GORRAK fn ELA 
_ Jrpu(ajes (2) i= 0 
a Too a ea (5.62) 


因此 ,由 式 (5.56) 表 征 的 时 变 系 统 ,变换 为 与 式 (5.61) 具 有 相同 基本 形式 的 方程 组 ,使 得 方程 

组 的 第 让 个 方程 的 解 ( 即 第 守 次 选 代 ) 可 以 从 第 全 - 1) 次 方程 推出 。 特 别 地 ，LMS 滤波 器 的 分 

析 就 变 为 研究 步 长 参数 jy 趋 于 0 时 平稳 随机 过 程 通过 极 低 截止 频率 低 通 泪 波 融 的 传输 问题 。 
在 式 (5.59) 的 基础 上 ,可 利用 相应 的 级 数 ,把 权 值 向 量 etn) 的 相关 和 矩阵 表示 为 


K(n) = Ele(n)e*(n)| 
= DS SElelnel(n)] (ik) =9,1,2..., 


根据 式 (5.61) 和 式 (5.62) 给 出 的 定义 将 该 级 数 展开 ,并 把 步 长 参数 a 中 同 阶 项 归并 ,可 得 相应 
级 数 的 展开 式 


(5.63) 


K(n) = Ko(a] + pK (n) + Rom + (5.64) 
FP BE OF 
Eled(njed(n)] 对 于 = 0 
wK(n) = 人 > 之 Ele(njeg(n)| 对 所 有 (i,k) BO (5.65) 


例如 i 二 大 = 2j — 1,2; 
Mitkas 时 , 式 (5.65) 的 第 二 部 分 是 容易 理解 的 ,因为 它 只 涉及 s(n) 和 &(n) 的 数量 级 。 
然而 ,如 果 将 下 标 主 相 同 的 项 合并 ,并 用 上 -1 代替 天 使 得 下 标 之 和 为 攻 - 4, 可 望 得 到 更 高 数 
量 级 的 结果 ,因为 &..Cn) 比 & (5) 高 一 个 数量 级 。 而 出 人 意外 的 低 数 量 级 结果 , 则 归 因 于 
mo (nn) 与 6,(n) 之 间 的 相关 性 很 论 , 即 两 个 权 值 误差 向 量 几乎 是 正 交 的 。 也 注意 到 ,Ky 并 不 
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是 与 关 无 关 的 。 相 反 ,其 泰勒 展开 式 包 含 疝 阶 项 ,这 实际 上 使 得 Ktn) 的 级 数 展开 式 水 会 比 式 
(5.64) BU, 

尽管 式 (5. 的 ) 中 矩阵 系数 以 相当 复杂 的 一 种 形式 出 更, 但 它 可 由 LMS 滤波 器 工作 坏 境 的 
频谱 和 概率 分 布 来 确定 。 在 输入 信号 为 任意 有 名 的 更 - 般 情 况 下 ,除了 某 些 特例 (Butterweck， 
1995) Fr, jel 时 KC) 的 计算 将 是 十 分 乏味 的 。 然 而 , Butterweck 先 代 过 程 揭 示 出 LMS 滤波 
人 钱 统计 特性 中 一 种 令 人 感 兴趣 的 结构 ， 
5.4.3 小 步 长 统计 理论 

下 面 ,我 们 把 统计 LMS 滤波 器 理论 眼 制 为 小 步 长 的 情况 ,这 表现 为 下 如 下 假设 : 

(il: 步 长 参数 pi 很 小 时 ,LMS 滤波 器 起 着 一 个 低 截 止 频 闪 低 遂 滤波 器 的 作用 。 

在 这 个 假设 下 ,我 们 就 可 以 把 实际 的 &(n)} 和 KK(n) 分 别 近 似 为 零 阶 项 HCn) 和 EK,(n)。 
为 了 说 明 假 证 工 的 有 效 性 , 考 虚 单 个 权 值 LMS 滤波 器 的 例子 。 在 这 个 例子 中 ,随机 差分 方程 式 
《5.58) 简 化 为 下 面 的 标量 方程 

eon + 1) = {1 ~ poi)eotn) + fln) 

其 中 a DMAE G win) 的 方差 。 这 个 差分 方程 代表 了 一 个 低 通 滤波 器 ,其 传递 函数 具 

有 单 极点 








z= {1 — poy) 
对 于 小 的 y, 这 个 极点 位 于 z 平 面 上 单位 圆 内 (很 接近 单位 加 ,这 表明 该 滤波 器 具有 很 低 
的 截止 频率 。 
假设 TI; 产生 可 观测 数据 i 即 期 望 响应 d(n) 的 物理 机 制 可 用 一 个 线性 多 回归 模型 来 描 
述 , 访 模型 与 维 纳 滤波 问 完 全 匹配 , 即 
d(n) = win(n) + e(n) (5.66) 
其 中 不 可 的 的 估计 误差 向 量 e,(n) 是 一 个 与 输入 向 量 U(n) 统 计 独 立 的 白 嗓 声 过 程 。 
2,{n) 的 白 只 声 特性 表明 ,其 相继 样 值 是 不 相关 的 , 即 
Ele et(n — k)| = fms 对 于 2 0 (5.67) 
第 二 个 假设 主要 部 分 已 在 第 2.8 节 讨 论 过 。 在 该 节 已 经 证 明 , 只 要 使 用 线性 多 回归 模型 是 合 
理 的 , 且 维 纳 滤 波 器 长 度 刚好 等 于 回归 模型 阶 数 , 则 由 维 纳 滤波 器 产生 的 估计 向 量 e,tn) 就 继 
承 了 模型 误差 的 白 噪 瑶 统 计 特性 [注意 :e,(n) 与 a(n) 之 间 的 统计 独立 性 比 第 2 章 中 所 讨论 的 
正 交 性 来 得 蝇 ]。 
{说明 假设 1 和 假设 开 的 正确 性 的 实验 ,见习 题 21。) 
根据 假设 1 小 步 长 选择 一 定 是 在 设计 者 控制 之 下 进行 的 。 在 假设 工 中 ,为 了 使 LMS 滤波 
器 长 度 与 多 回归 模型 阶 数 匹配 ,要 求 使 用 某 种 模型 选择 准则 ,比如 Akaike 的 信息 论 准 则 或 fis- 
sanen 的 最 小 描述 长 度 准 则 ,这些 均 已 在 第 1 章 讨 论 过 。 若 由 于 这 个 或 那个 原因 , 式 (5.66) 所 
表述 的 驼 元 回归 模型 成 空 ,但 维 纳 恋 波 器 与 模型 失 配 ,又 该 怎么 办 呢 ? 在 这 种 情 识 下 ,把 估计 
误 莽 统计 特性 作为 白 噪 声 看 符 可 能 不 合适 。 此 时 ENB [的 替代 ,使 用 如 下 假设 : 
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假设 M: 输入 向 重 下 nn) 和 期 望 响 记 [9(nn) 是 联合 高 斯 分 布 的 。 


由 物理 现象 产生 的 随机 过 程 常常 是 符合 高 斯 模型 的 。 而 且 ,用 商 斯 模型 描述 物理 现象 的 
可 行 性 已 得 到 实验 证 实 。 

因此 ,不 久 前 为 研究 LMS 滤波 器 统计 特性 而 发 展 起 来 的 小 步 长 理论 可 应 用 在 下 面 两 种 可 
能 情况 中 :其 一 是 假设 成立 ,其 二 是 假设 弄 成 立 。 这 两 种 情况 包括 了 LMS 滤波 器 的 大 多 数 
运行 环境 。 最 为 重要 的 是 ,在 推导 小 步 长 理论 时 ,我 们 避免 对 输入 数据 的 统计 独立 性 司 任 何 假 
设 。 这 个 问题 将 在 后 面 做 进一步 讨论 。 


5.4.4 LMS 滤波 器 的 自然 模式 


在 假设 I 条 件 下 ,Buterweek 迭代 过 程 变 为 下 面 一 对 方程 
galin + 1) = (E ~ AR)eo(n) + hin) (5,68) 
hin) = —pu(njes (rt) (5.69) 
在 进一步 处 理 之 前 ,通过 把 西 相似 变换 (vnitary similarity transformation WH FHKE RE R, FEZ 
分 方程 式 45.68) 转 摘 为 一 个 更 加 简 北 的 形式 将 是 十 分 有 益 的 ( 匈 附 录 E)。 当 我 们 这 样 做 时 ， 
将 得 到 
QRQ =A (5.70) 
其 中 Q EAER (unitary matrix) ,其 列 将 组 成 与 相关 矩阵 R 的 特征 值 有 关 的 特征 问 量 的 
正 交集 ,而 A 是 由 特征 值 组 成 的 对 角 算 了 泗 。 为 了 获得 期 望 的 简化 ,引入 如 下 定义 


vín) = Qeoln) (5.71) 
因此 ,使 用 式 (5.70) 和 式 (5.71) 以 及 酉 矩阵 Q 的 特性 , 即 
QQ” =I (5.72) 
RH AEREE, TERG. 6 RHE i PIR 
v(a +1) = (I - nA)vn) + (4) (5.73) 
这 里 ,新 的 向 量 O(n FR IA & (2) AEE QR EM, B 
b(n) = O”hin} (5.74) 


对 于 随机 激励 向 量 中 (n) 的 部 分 特性 ,可 在 LMS PR OA RR 
1) 随 机 激励 向 量 由 nn) 的 均值 为 堆 , 即 


Elp] =0 ”对 所 有 n (5.75) 

2) 随 机 激励 向 量 O(n) RERE PO AEE, BY 
Elpin)" (n)] = Want (5.76) 
Eh J 是 维 纳 泪 波 器 产生 的 最 小 均 方 误差 ,A 是 抽 头 输入 向 量 un) AK 


征 值 组 成 的 对 角 第 阵 。 


这 两 个 性 质 意味 着 变 模 的 随机 激励 向 量 中 Cn) 的 各 个 分 量 互 不 相关 。 性 质 1 将 直接 遵循 
维 纳 滤波 器 固有 的 正 交 人 性 原理 [ 疯 式 (2.11)]。 特 别 地 ,利用 式 (5.69) 和 式 (5.74), 有 
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b(n) = -AQ Elu(n)es{n))] 


=0 
甚 中 ,由 于 正 交 性 原理 ,期 望 值 为 零 。 
HRE An ERA 
Elpin" (n)] = OFE ulne lelau” (2) JQ (5.77) 


为 了 计算 式 (5,77} 的 期 望 值 ,可 视 工 作 情 况 , 引 用 假设 或 假设 [II。 


e 当 维 纳 滤 波 器 与 式 (5.66) 所 描述 的 多 元 回归 模型 理想 匹配 时 ,估计 误差 e,{n) 是 个 白 曲 
POUR 心 。 因 此 ,可 将 式 (45.77) 的 期 望 项 分 解 为 


开 [ulajexfmyeoaJnsgmy] = Ele*(nje,(2) Efun” (7) | 


= Juin 
从 而 
E[d(n)b"(2)] = WJ QRO 
= W Join 
这 证 明了 性 质 2. 





e 当 维 纳 滤波 器 与 式 (5.66) 描 述 的 多 元 回归 模型 不 匹配 时 ,可 引用 假设 三。 特别 地 ,在 假 
设 输入 数据 wo 和 dn) WRG ARS PARE PTR e (CE a. E 
时 ,把 高 斯 矩 分 解 定理 (Gausaian moment-factoring theorem) FA Fak (1. 101) ,可 得 
Elu(njes(m)e(n)u"(n)] 
= Elu(n)e3(n)|Ele,(n)u"(n)] + Elet(n)eotn)]E[lu nu"(n) | 
利用 正 交 性 原 理 , 上 式 变 为 
E(u(ne*(nje,(nu"(n}] = Elex(a)e.(n) |E(u(nju*(n) | 
= 天 im 及 
因此 ,利用 式 (5.77) 的 结果 ,我 们 得 到 
El o(nyb"(2)] = pIu QRQ 
= B Spin A 
这 再 次 证 明了 性 质 2. 
根据 式 (5.73) ,组 成 LMS 滤波 器 瞬 态 响应 的 自然 模式 数 与 滤波 器 可 调 参数 的 数目 相等 。 
特别 地 ,LMS 滤波 器 的 第 大 个 自然 模式 可 表示 为 
v(ati1)=(1— paelan) + hn) k= 1,2,....M (5.78) 
通过 比较 上 式 与 最 速 下 降 算法 的 对 应 式 (4.19) 可 以 发 现 ,LMS 算法 的 瞬时 特性 不 同 于 随机 激 
励 点 (2) 存 在 时 的 最 速 下 降 算法 。 这 一 差异 具有 深刻 的 含义 。 特 别 地 ,由 式 (5.78) 可 见 , 自 然 
WR w 从 一 个 选 代 到 另 一 个 造 代 的 变化 可 表示 为 
Av,(n) = nla + 1) 一 vt) 


= —pAy(n) + ben) k= 1,2,...,M (5.79) 
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它 可 分 为 两 部 分 ;阻尼 激励 - geo, Cn) RL A ndo BF Aim E eR 
声 过 程 , 氏 此 可 把 差分 方程 式 (5.79) 淖 做 一 个 离散 时 间 Langevin 方程 ,该 方程 由 布朗 运动 
(Brownian motion)’ 来 表征 (Uhlenbeck & Omstein,1930; Reif, 1965). 

像 点 (Ca) 一 样 ,LMS 滤波 器 的 自然 模式 o, Ca) 也 是 随 机 的 ,并 具有 自己 的 均值 和 均 方 值 。 
令 CO) 表示 v(tn) 的 初始 值 , 解 式 {5.,78) 的 差分 方程 可 得 


vln) = (1 = pay DO) 十 Zl = HAY peli) (5.80) 


Keb, AA vn Cn) BPR oP E (natura companent ) , 求 箱 [ 硕 为 激励 分 其 (iomed component } - 
引用 式 (5.75) 和 和 式 (5.76) 所 措 述 的 随机 激励 和 (2) 的 统计 特性 , 可 以 得 到 自然 模式 oy (n) 
《=1,2,…; 用) 的 一 ,二 阶 和 矩 公式 (见习 题 11): 
DIJE 
Elw(n)] = aU = wax)” (5.81) 
2) 均 方 值 





2 Jun 2 时 | 1 Fin 
Elm P] = E + (0 = was)" Or ~ =e) (5.82) 


2 pray, Te UAR 
现在 ,可 将 统计 LMS 理论 总 结 如 下 : 


当 LMS 滤波 器 的 步 长 参数 较 小 时 ,滤波 露 的 自然 模式 将 关于 某 些 固定 值 佑 布朗 运动 ， 
BRA H— MSH BAS BI FAS. B2IVZX, 


利用 以 上 理论 ,很 容易 更 深入 地 研究 LMS 滤波 器 的 统计 特性 。 
5.4.5 学 习 曲 线 
使 用 集 平均 学 习 曲 线 研 究 自 适应 滤波 器 的 统计 特性 是 一 种 通用 的 方法 。 特 别 地 ,我 们 来 





D 为 了 描述 布朗 运动 ,考虑 一 个 沉浸 在 粘 灌 液体 中 质量 为 m 的 微观 粒子 。 假 设 该 粒子 的 质量 足够 小 以 致 于 它 的 热 所 
动 是 显著 的 。 设 *f 昌 为 粒子 在 1 时刻 的 速度 。 从 热力 学 的 均匀 分 布 定 律 可 知 , 粕 子 的 平均 能 量 为 
3 #0)] = 7 kaT HRH! (1) 
其 中 BTN, by GES (Bolman) BI, TARE. WIRATA RT A aN RS 
组 成 : 
© 一 个 为 连 续 阻 尼 力 - ov ( 1), E5 Stokes 定律 由 一 致 (a REREH). 
。 一 个 为 波动 力 P) , 它 是 一 个 随机 过 程 , 因 此 {4) 的 特性 具 是 一 个 平均 值 。 
在 没有 外 力作 用 的 情况 下 ,粒子 运动 方程 可 表示 为 
mS = tr) + Fy) (2) 
了 新 边 同 除 以 mm, 可 以 得 到 
we = 一 ?pf + TG} (3) 
其 中 六 = aim; 而 TD = 六 (im MERC AERA AT ARR AR ie R 
子 的 位 置 , 所 以 是 一 个 随机 力 。 方 程 人 (3) 称 为 Langevin AE, NUE Langevin H (Reif, 1965). Langevin FRB 
非 平稳 热力 学 的 第 一 个 数学 记 程 , 它 描述 了 颗粒 在 任意 时 刻 的 状态 。 
比较 布朗 运动 的 方程 人 3) 与 LM 算法 的 方程 (5.79} 可 知 ,后 一 个 方程 具有 与 离散 时 间 Langevin 方程 相同 的 数学 形 


Ka 
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办 别 两 种 曲线 : 
1) 均 方 误差 (MSE, mean-square error) 学习 曲线 ”性 基 于 拘 方 估计 误差 1e(n)1? 的 集 平均 
值 。 这 个 学 习 盟 线 因此 也 是 均 方 误 差 
H(n) = Elie(n}l] (5.83) 
FEAT A) n 的 图 形 。 
2) 均 方 偏差 (MSD, mean-square deviation) 学 习 曲 线 ” 它 基于 均 方 估计 误差 | s(n) I? AE 
的 集 平 均值 。 这 个 学 习 曲 线 因此 也 是 均 方 误差 的 但 差 
Bin) = Efell] (5.84) 
在 时 刻 n 的 疼 形 。 
与 第 4 章 最 速 下 降 算法 的 情况 不 同 ,TMS 算法 的 均 方 误差 J ET RED (nA it 
刻 ,因为 估计 误差 e(n) 和 权 值 误差 向 县 en) 都 是 非 平稳 过 程 。 
LMS 滤波 器 的 估计 误差 可 表达 为 
e(n) = din) — wi (n)u(a) 
= d(n) — wiu(n) + © (n)u(n) 
= eln) + et (njutn) 
= e(n) + so (at Haegh 
其 中 e, (nn) 为 维 纳 滤波 器 所 产生 的 估计 误差 ,而 &(n) 是 LMS 滤波 器 的 零 阶 权 值 误 差 向 量 。 
因此 ,对 应 的 LMS 滤波 咽 所 产生 的 均 方 误差 为 
J(n) = Elle(n)f] 
~ El(e(a) + eff(a)u(n)es(n) + u¥((n)eo(a))] (5.86) 
= Jpn + 2Re{Elet et (n)u(n)]} + Elet (nualn)u’(n)eo(n)] 
式 中 J 是 维 纳 滤波 器 所 产生 的 最 小 均 方 误 差 Rel "| 表示 取 实 部 运算 。 
在 下 列 情况 下 , 式 (5.86) 右 边 第 2 项 为 零 : 
o 在 假设 工 条 件 下 ,由 维 纳 滤波 器 所 得 到 的 不 能 变 小 的 估计 误差 (na ) 与 输入 向量 u(n) 
统计 独立 。 在 时 刻 ”, 零 阶 权 值 误差 向 量 aa) 取决 于 e,(n) 的 过 去 值 , 这 一 关系 是 重 
复 应 用 式 (5.58) 得 到 的 结果 。 从 而 得 到 


(5.85) 


E([ež tei (muln)] = Efesto lelet outa) (5.87) 
o 在 假设 全 条 件 下 , 式 (5.87) 的 结果 也 成 立 。 对 于 &(n) 和 uln) 的 第 个 元 素 ,其 数学 


期 望 为 
E[ex(n)eti(n)u(n — k)] k=0,1,..,M-1 
假设 输入 向 量 a(n) 和 期 望 响应 dln) 蚌 联合 高 斯 过 程 ,估计 误差 e.(n) 因 而 也 是 高 斯 


的 , 则 应 用 式 (1,100), 即 得 
Elettn)etr (nun 一 A)]=0 对 所 有 大 
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从 而 得 到 式 (5.87)。 
为 了 计算 式 (5.86) 的 其 他 项 ,作为 假设 工 的 结果 ,我 们 使 用 如 下 事实 ;与 输入 向 量 utn) 相 
比 , 权 值 误差 向 量 &{n) 随 时 间 的 变化 是 很 慢 的 ;也 就 是 说 ,输入 信号 utn) 的 谱 内 容 大 大 不 同 
于 权 值 误差 e(n), k=0, 1e, M-11 全 此 ,利用 直接 平均 法 ,我 们 可 上 用 其 期 望 值 代替 
alna” (a), ATH Sh 
Ele#(n)ju(nju"(njeo(n)| ~ Ele? (n)Eju(n yu" (a) jel) | 
= Eled(n)Re,(7)| 
Fe Tp BA ee SE a SG H pf a MRA ,得 到 
Elei{(n)u(ajn(njeo(a)} = tr{ [ed (n)Reg(n) i} 
= Eltrled (n)Re,(n) |} 
HK, FI FEAR, GEA GP Sek 
tr[ AB} = tr[BA | 
PAM BERRAR, Alt, > Axe) ,了 = Rs, 可 以 写 出 
Eleé(n)u(nyu"(n)eo(a)| = E{tr[Reo(n)e# (tn)]} 
tr{E[Reo(n)es (n)]} 
tr{RE[eq()eq' (n) h} 
= u[RK,(7)] 
其 中 RB 是 抽 头 输入 相关 和 矩阵 , 杞 (n) 是 式 ($.65) 第 一 行 定义 的 权 值 误差 相关 矩阵 的 零 阶 近 似 。 
因此 ,将 式 (5.87) 和 式 (5.88) 代 人 式 (5.86), 可 把 OMS 贸 波 器 产生 的 均 方 误差 近似 地 表 为 
Jin) = Jon 7 tr RKo(n)] (5.89) 
式 (5.89) 表 明 ,对 于 所 有 n, IMS 滤波 器 估计 误差 的 均 方 值 包含 两 个 部 分 :最 小 均 方 误差 ya 以 
及 依赖 于 零 阶 权 值 相关 年 阵 Ko(n) 过 滤 特 性 的 分 量 。 由 于 后 一 分 量 对 于 所 有 的 n 是 非 负 冠 
的 ,因此 OMS 姜 波 器 所 产生 的 均 方 误差 J(n) 超 过 最 小 均 方 误差 Jn。 
FAZER MSI RSE n BSR) LMS 滤波 器 所 产生 的 均 方 误差 J(n) 与 相应 的 维 纳 滤 波 
器 所 产生 的 最 小 均 方 误差 js 之 差 。 如 用 J。(n) 表 示 额 外 均 方 误差 , 则 有 
Join) = F(a) 一 Jan 
~ 如 [及 了 of | 
使 用 式 {5,65) 第 一 行 的 定义 ,并 以 类 似 于 式 (5.88) 的 方式 处 理 它 , J。(n) 可 表示 为 
Jet) ~ tr{RE[eon)ed (n)]} 
= t{RE[Qv(n)v"(2)Q*]} 
= E{tr{ ROvin)v"(a)Q"}} 
= E{tr/v"(n)Q*ROQv(n) |} (5.91) 
= Eftriv"(n)Av(n) |} 


M 
= 2 Aa Efu] 


(5.88) 


il 


(5.90) 
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在 假设 1 条 件 下 , 肯 一 次 使 用 5&(n) 作 为 权 值 误差 向 晤 s(n} 的 近似 , 则 可 使 用 式 (5.71) 焰 
式 (5.84) 的 均 方 偏差 近似 表示 为 
a(n) = Elleo mn) 
[ivc] 
x ' 2 
K 说 EU | 
式 中 ,第 二 行 利用 了 这 样 一 个 事实 :向 量 的 欧 氏 范 数 (Euclidean nonrmn) 对 酉 相似 变换 的 旋转 是 不 
变 的 。 现 令 Xu 和 ju 分别 表示 相关 和 矩阵 R 的 最 小 各 最 大 特征 值 , 即 
Amin SS Ay SS Amar k= 1,2, 5M (5.93) 
A FSA (5.91) AR (5.92), BE EAE BA he he BOR 
Amun An) = Jain) = Ama Ale) 对 所 有 
等 效 地 ,上 式 可 以 写 为 


(5.92) 


dex r Jex 
Jat") > O(n) > Atn 对 房 有 六 (5.94) 


这 两 个 不 等 式 表 明 , 对 于 所 有 的 n, IIA ZED PRR Jeg Ph EFA Jalan) Amo 
相应 地 ,可 以 指出 , 均 方 偏差 以 类 似 于 额外 均 方 误差 变化 的 方式 , 随 着 选 代 次 数 的 增 如 而 变 小 。 
因此 ,我 们 有 充分 的 理由 把 注意 力 集中 于 Jn) URL o 


5.4.6 了 瞬 态 特性 和 收敛 性 考虑 
根据 式 (5.81) ,指数 因子 (1 - a)" 支配 着 时刻 LMS 滤波 器 第 上 个 目 然 模式 均值 的 演 
变 。 该 指数 因子 衰减 到 零 的 必要 条 件 为 
—1<1—paA,< +1 WAREK 
依次 , 它 对 步 长 参数 施加 如 下 约束 条 件 


2 
Udug 


max 





这 里 入 .是 相关 矩阵 R 的 最 大 特征 值 。 然 而 ,在 研究 LMS RRA HEN , BA TE BISA 
(5.81) 的 推导 受到 要 求 步 长 参数 u 较 小 的 约束 。 通 过 对 jz 赋予 比 Mu 更 小 的 值 , 可 以 满 是 
这 个 要 求 。 对 于 所 有 的 ,可 保证 指数 因子 (1 - sa;)" 晴 着 迭代 次 数 的 增加 误 减 到 零 。 在 这 种 
情况 下 ,可 得 到 


Ellin) Hno 对 所 有 kK (5.95) 

等 效 地 ,利用 式 (5.55} 和 式 (5.71) ,以 及 用 s(n) 近似 s(n) ,我 们 有 
Efan] 一 Ww Hno (5.96) 
式 中 w, 是 维 纳 解 。 然 而 ,由 于 渐进 零 均值 随机 变量 序列 厅 需 要 趋 近 于 零 ,这 样 的 收敛 准则 几 


乎 没有 实际 价值 。 
为 了 避免 二 述 均值 收 伍 的 缺点 ,可 考虑 一 种 更 强 的 准则 :以 均 方 方式 收敛 。 该 收 代 方式 与 
集 平均 学 习 曲 线 有 关 , 因 此 它 可 解释 学 习 曲线 在 研究 自 适 应 滤波 器 中 的 重要 性 。 在 式 (5.90) 








212 ETETETT 
第 1 行 中 利用 式 (5.82) 和 式 (5.91)， LMS 滤波 器 所 产生 的 均 方 误差 表示 为 
ae 5 e) A 


Ae 





(7 T Jii + 及 .nn 
in) 3 2 T 


M 
ra Jinin s fan = DA E Sa'o u.(O z Eme ja E MA” H 较 小 
对 于 所 有 自然 模式 不 = 1,2,°°,M,n NAIR J (ne) ARATO - ms) 控制 。 考 虑 到 式 
(5.97) 的 推导 受到 小 步 长 参数 yz 的 约束 ,我们 再 一 次 通过 选择 比 1 更 小 的 pz 值 来 满足 这 
个 要 求 。 在 这 种 条 件 下 , 则 可 保证 指数 因子 (1 - pa,)” 随 着 送 代 次 数 的 增加 衰减 到 零 。 因 此 ， 
我 们 可 将 pe 较 小 时 LMS 滤波 器 学 习 曲 线 的 特点 表述 为 如 下 原理 ， 
IMS 滤波 器 的 集 平 均 学 习 昌 线 不 存在 振荡 ， ee 


(5.97) 





JF{ca) = Join + Han 3, ET 
Bain ee) 
Sdan + SP SN a 
然而 ,应 当 注 意 到 这 个 原理 的 可 用 性 是 以 零 阶 解 &(n) 为 基础 的 ,而 且 仅 当 py 较 小 时 才 是 
TAK. 4u RAH AX LMS 滤波 器 的 稳定 性 问题 还 没有 见 到 一 种 可 信赖 的 表述 。 在 后 一 
种 情况 下 ,整个 LMS 滤波 器 (如 零 阶 和 解 和 高 阶 解 ) 必 须 加 以 考虑 。 因 此 ,LMS 滤波 器 的 稳定 性 
需要 有 一 个 比如 下 条 件 
2 


HS Vn 
更 严格 的 关于 最 大 步 长 参数 的 必要 条 件 。 关 于 这 一 点 后 面 有 更 详细 的 讨论 。 
5.4.7 失调 
下 面 ,引信 一 个 新 的 参数 一 一 失调 (misadjustment) 来 表征 LMS 滤波 器 , 它 定义 为 
Ws (5.99) 


J sin 
表面 上 ,失调 定义 为 额外 均 方 误差 的 稳 态 值 J。( w ) 与 最 小 均 方 误差 Ju 之 比 。 使 用 式 (5.98) 
和 式 (5.99) ,在 小 产值 情况 下 可 写 出 下 式 


p ¥ 
=~ Sau (5.100) 
25 


失调 必 是 一 个 无 量 纲 的 参数 , 它 提 供 了 如 何 选 择 LMS 算法 使 得 在 均 方 误差 意义 下 达到 最 
优 的 一 个 测度 。 与 1 相 比 ,失调 越 小 ,由 LMS 算法 完成 的 自 适 应 滤波 作用 越 精确 。 通 常用 百 
分 比 表 示 和 失调 参数 羽 。 例 如 ,10 人 名 的 失调 意味 着 LMS 算法 产生 的 均 方 误差 要 比 最 小 均 方 误 莽 
Fin K 10% 。 这 样 的 性 能 在 实际 应 用 中 被 认为 是 满意 的 。 
根据 附录 玉 介 绍 的 特征 值 分 解 理论 可 知 ,矩阵 R 的 迹 等 于 它 的 特征 值 的 和 。 因 此 ,可 用 
等 效 形 式 重 写 式 (5,100) 为 
M = 5 t[R] (5.101) 
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这 个 式 于 是 特 征 仁 分 解 的 结果 ， 也 可 以 不 必用 这 种 方法 而 直接 导出 此 式 ， 正如 习题 12 那 
样 。 
不 管用 何 种 方法 导出 式 (5.101) ,我 们 注意 色 , 对 于 和 由 图 5.1 所 示 横 向 滤波 器 抽 头 输入 组 
成 的 平稳 过 程 中 ,相关 短 阵 尽 不 仪 是 非 负 定 的 向 莫 是 托 伯 利 兹 (Toeplitz) 的 ,其 矩阵 的 主 对 角 
线 元 素 等 于 rm0)。 几 于 xr(0) 本 刁 等 于 滤波 器 每 一 个 抽 头 输入 的 均 方 值 ,因此 有 
tr[ 及 ] = Mr(0) 


= Salutn | 
= Ef lafa)l?] 
于 征 , 使 用 “总 的 抽 头 输入 功率 "来 称谓 图 5. Ub Pa A ulna ulan- 1l), ula - M41) 
的 均 方 值 之 和 ,可 将 失调 式 (5.101) 重 与 为 
AC = 5X (总 的 抽 头 输入 功率 ) (5.102) 


5.4.8 平均 时 间 常 数 
为 了 继续 利用 有 用 的 设计 原则 ,定义 手头 输 人 的 相关 矩阵 下 的 平均 特征 值 为 


1 M 
r 2 Ar (5,103) 
PRU LMS 算法 的 集 平均 学 习 曲 线 可 用 时 间 常 数 rc。 的 指数 来 通 近 , 则 可 用 最 速 下 降 算 法 中 
的 式 (4. 0) 定义 LMS 算法 的 平均 时 间 常 数 为 
t 





Tinse,av T Gad, (5.104) 
在 式 ($5.100) 中 利用 式 {5.103) 和 式 (5.104) 的 平均 值 ,可 近似 地 重新 定义 和 失调 为 
_ LMA 
A = 3 
O M (5,105) 
p AT ice ay 


以 这 个 公式 为 基础 ,可 以 得 出 如 下 结论 : 
1) 对 于 固定 的 row ;失调 术 随 着 滤波 器 长 度 ( 抽 半 数 ) M 线性 增加 。 
2) LMS 算法 的 确立 时 间 ( 即 瞬 态 消失 时 间 ) 正 比 于 rw，, 从 而 失调 反比 于 确立 时 间 。 
3) 和 失调 p 正比 于 步 长 大 小 ,而 平均 时 间 常 数 rw 反比 于 ux。 因此 存在 互相 矛盾 的 要 
求 ; 若 产 变 小 以 使 得 失调 焉 小 , 则 LMS 算法 的 确立 时 间 将 增加 ;反之 ,车 上 变 大 以 使 得 
确立 时 间 减 小 , 则 LMS 算法 的 失调 将 增加 。 因 此 ,必须 注意 w 的 选择 。 


5.4.9 小 步 长 理论 要 点 以 及 与 独立 性 理论 的 比较 


本 节 导 出 的 LMS 滤波 器 小 步 长 理论 建立 在 第 2 章 维 纳 滤波 器 理论 的 基础 上 , 它 在 如 下 情 
涡 下 提供 了 估计 滤波 器 瞬 态 与 稳 态 响应 的 一 种 原则 性 的 方法 : 


214 自 放 应 滤波 器 原理 


情况 1 期 望 响 应 da(n) 对 手头 输入 向 量 u(n) 的 统计 依赖 性 由 多 重 线性 回归 模 卉 决定 。 
用 来 计算 未 知 模型 参数 向 量 的 维 纳 滤波 器 ,其 长 度 等 于 模型 阶 数 。 此 外 ,不 需要 对 环境 的 统计 
表征 做 任何 其 他 假设 。 


情况 2 期 望 响 应 din AJARA E u(n) 的 统计 依赖 是 线性 的 ,而 且 是 任意 的 。 期 
望 啊 应 dC(n) 对 抽 头 输入 问 量 ugn) 是 联合 高 斯 的 。 此 外 ,不 需要 对 环境 的 统计 表征 做 任何 其 
他 假设 。 

小 步 长 理论 的 基本 结果 是 LMS 滤波 器 的 集 平均 学 习 曲 线 呈 现 出 与 式 (5.97) 相 一 致 的 确 
定性 特性 。 此 外 ,与 式 (4.,28) 相 比 容易 关山 ,LMS 滤波 器 的 集 平均 学 习 曲 线 背离 了 相应 于 维 纳 
滤波 器 的 最 速 下 降 算 法 的 集 平均 学 习 曲 线 ,这 是 因为 随机 激励 源 的 存在 所 引起 的 。 

小 步 长 理论 的 男 一 个 显著 特点 在 于 , 它 提供 了 LMS 滤波 器 的 随机 行为 与 布朗 运动 之 间 的 
深层 次 关系 ,其 数学 描述 由 Langevin 方程 给 出 。 

更 为 重要 的 是 ,小 步 长 理论 克服 了 来 源 于 LMS 滤波 器 统计 文献 (Widrow et al. ,1976; Mazo, 
1979;Gardner,1984) 的 独立 性 理论 的 缺陷 。LMS 滤波 器 的 独立 性 理论 做 了 如 下 假设 ; 


e HERA E al), u(2),..., u(n) 组 成 了 统计 独立 的 向 量 序列 。 
© 在 时 刻 ”, 抽 头 输入 向 量 a(n) 与 期 望 响 应 所 有 过 去 值 2(1) .ad{2),…, d(n 一 1) 统 计 独 
Wo 


o EA mn ,期 望 响 应 a(n) 与 相应 的 抽 头 输入 向 量 a(n) 有 关 , 但 与 期 望 响应 的 所 有 过 去 

值 统计 独立 。 
独立 性 理论 可 在 某 些 应 用 场合 获得 证 实 ,例如 自 适 应 波 东 形成 ,在 那里 天 线 阵 列 从 周转 环 
境 中 接收 到 的 连续 快照 数据 ( 即 输 入 向 量 ) 很 可 能 是 相互 统计 独立 的 。 然 而 ,在 通信 中 自 适 应 
滤波 应 用 (如 信和 号 检测 .信道 均衡 . 回 波 消 除 ) 中 ,引导 权 值 向 量 向 最 优 维 纳 解 搜索 的 输入 向 量 
实际 上 是 统计 相关 的 ,原因 在 于 输 人 数据 的 移 位 特性 。 有 共 体 而 寺 ,在 n 时刻 , 抽 头 输入 向 量 为 








u(n) = [u(n),u(n - 1),...,u(n M+ 
在 n+1 时刻, 手头 输入 向 量 为 
u(n +1) = [un + ulm ulan- M +2)] 


于 是 ,由 于 新 的 样 值 n(n + DRAE, BREE u(n- M+ DM ul(n) 中 被 废弃 。 而 且 余 下 
的 那些 样 值 ula), u(n-1),..., u(a— 计 +2) 按 时 间 反 向 移 位 一 个 单元 ,以 便 腾 出 空间 给 
新 的 样 值 w{n + 1)。 由 此 可 见 , 在 某 一 瞬 态 确立 过 程 中 , 抽 头 输入 向 量 以 及 相应 地 由 LMS 算 
法 计算 的 梯度 方向 实际 王 是 统计 相关 的 。 

独立 性 理论 导出 LMS 滤波 器 肯 态 和 稳 态 响应 的 某 些 结 论 , 这 些 结 论 类 似 于 小 步 长 理论 获 
得 的 结果 。 然 而 ,在 分 析 LMS 滤波 器 统计 特性 时 ,人 们 更 喜欢 采用 小 步 长 理论 。 原 因 有 三 :小 
步 长 理论 原理 上 基础 牢固 ,见解 深刻 ,易于 应 用 。 

另外 需要 指出 的 是 ,在 推导 小 步 长 理论 时 ,我 们 忽略 了 式 (5$,59) 所 给 出 的 加 权 误 差 回 其 
s(n) 表 达 式 中 的 高 阶 项 efn) ,aa(n)，...。 然 而 , 当 采 用 大 步 长 来 加 速 收敛 时 ,这些 高 阶 项 对 
LMS 滤波 器 统计 分 析 的 贡献 将 变 得 很 有 意义 ,因此 不 得 本 顾及 。 高 阶 项 s(n),&(n),... 所 
具有 的 随机 特征 ,将 招致 加 大 步 长 时 LMS 滤波 器 学 习 曲 线 中 噪声 特性 影响 的 增 大 (高 阶 修正 
问题 将 在 下 一 小 节 讨 论 )。 
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5.4.10 长 LMS 滤波 器 的 统计 波形 理论 


长 LMS 滤波 器 已 被 广泛 使 用 ,特别 是 在 声学 应 用 中 。 无 论 从 理论 上 讲 , 还 是 从 实用 的 观 
点 ,将 无 限 长 的 LMS 滤波 器 看 和 做 有 限 的 形式 ,进而 导出 LMS 滤波 器 的 统计 波形 理论 将 是 有 益 
的 。 在 电磁 干扰 能 像 波 一 样 传 向 无 限 远 的 类 似 于 传输 线 的 方式 中 ,无 限 长 LMS 滤波 器 中 的 信 
号 将 像 波 一 样 传 问 无 限 远 的 终端 。 在 实际 的 LMS 滤波 器 中 ,在 滤波 器 接近 开始 和 娃 束 工作 时 
都 要 进行 一 些 校 正 。 这 些 校正 可 根据 皮 射 波 来 解释 。 对 于 长 的 LMS SB ah, “反射” 区域 ( 即 
不 能 忽略 无 限 小 反射 波 的 区 城 ) 与 滤波 器 总 长 度 相 比 将 很 小 ;此 时 ,LMS 滤波 器 的 自 适应 机 制 
几乎 不 受 影响 (Butterweck，2001)。 

在 本 节 前 面 描述 的 基于 Butierweck 迭代 步骤 所 进行 的 Butterweck{2001) 研 究 中 ,已 经 证 明 
稳 态 和 了 瞬 态 条 件 下 的 长 LMS 滤波 融 的 统计 波形 理论 党 到 某 些 著 名 的 简单 规律 的 支配 。 这 些 
规律 可 总 结 如 下 : 


1) 稳 态 响 应 ”对 于 小 步 长 和 长 LMS 滤波 器 (好 py 一 0, M— oe ), BR ARSE UNAM E AR 
按 不 局 的 时 间 标 度 波动 ,空间 加 权 误 差 相 关 仍然 与 归 态 坚 声 相关 有 关 , 即 
Elsox(n)et_(n)] = 5 Elea(n)etln ~ N] (5.106) 


其 中 s6.1《n) 是 零 阶 加 权 误 差 向 量 m(n) 的 第 下 个 分 量 ,e(n) 是 维 纳 滤波 器 产生 的 估 
计 误 差 {( 嗓 声 )。 式 (5.106) 诺 边 是 “空间 "类 相关 ,因为 它 包 含 LMS 滤波 器 两 个 不 同 的 抽 
Bk Mk - 1, 式 (5.106) 右 边 是 “时 间 " 类 相关 ,因为 它 包 含 不 同时 刻 的 估计 误差 ,有 即 
niin- 令 人 惊奇 的 是 ,输入 信号 对 加 权 误差 相关 性 没有 影响 。 从 这 个 方程 可 以 得 
到 稳 态 响应 的 两 种 特殊 情况 : 

e 当 1 =0 时 ,eo.:(n) 的 均 方 值 等 于 对 所 有 上 的 最 小 均 方 误差 J 的 py 人 2 售 。 

es 当 白 噪声 为 估计 误差 。 (na) 时 , 权 值 波动 是 不 相关 的 。 


值得 指出 的 是 ,这 些 结果 在 独立 性 假设 (Douglas & Pan,1995) 情 况 下 也 可 以 得 到 ;而 在 由 
Butterweck 研 究 的 统计 波形 理论 中 不 和 需 要 该 假设 。 

2) 自 然 ( 皮 态 ) 响 应 ”通过 置式 45.80) 的 随机 激励 为 零 ,可 以 得 到 长 度 为 M 的 LMS ae 
的 自然 响应 , 即 





uyin) = (1 = HAY u0) f=1,2,....M@ (5.107) 

Hp nln) sin) = QO" (DAS LP RAR IEA, ATE v,(n) 的 

角 上 加 上 *“ 自 杖 " 的 标记 ,为 了 简便 起 见 ,这 里 没有 这 样 做 ]。 为 了 计算 无 限 长 ( 即 M 一 

oo }LMS 滤波 加 的 自然 响应 ,使 用 大 托 伯 利 兹 算 阵 的 渐进 特性 (Gray, 1972)。 根 据 这 个 
特性 ,可 导出 现 有 问题 的 如 下 结果 : 

o 托 伯 利 兹 矩阵 特征 谱 ( 特 征 值 集 人 台 ) 演 变 为 空间 分 布 正 藤 模 型 的 连续 统 (continnum)， 

定义 为 
Re*) = Xr) (5.108) 


i 
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其 中 e 表示 空间 频率 ,rt1) = Elu(ndu’ la- D] 
@ ESRI vin) 演变 为 加 权 误 差 eofna) 的 空间 和 傅 里 时 蛮 摘 


Efe”, n) = È so (ne (5.109) 

用 相应 的 方式 , 当 令 滤波 器 长 度 接 近 无 限时 , 式 (5.108) 变 为 有 效 形式 
Ee", n) = {1 — pR(e'))" Eae, 0) (5.110) 
于 是 ,加 权 误 差 co (re) 028 TB) EB Oe a ab 呈 指 数 衰减 , 衰 碱 因子 收 决 


于 空间 频率 x。 
Butterweck(2001) 研 究 了 一 阶 校正 量 ea)[ 当 二 =1 时 8.(n) 的 第 /个 分 量 满 足 式 
(5.61) 和 式 (5.62)] 对 式 (5,110) 指 数 加 权 误 差 衰 减 所 附 邦 的 波动 。 在 该 研究 中 ,得 出 
OP ei: 
@ HEMER RN Oe BOSS ,并 在 时 间 常 数 的 - ' 半 处 达到 最 大 值 。 
最 大 幅度 取决 于 步 长 参数 ux。 当 p0 时 ,幅度 消失 ,但 假设 在 稳定 界 附近 让 
一 个 相对 大 的 值 。 
3) 稳 定性 ”对 于 大 此 长 上 ,必须 考虑 高 阶 校正 最。 在 做 这 件 事 时 .机 导出 e PR, 
如 超过 它 LMS 滤波 器 就 不 稳定 了 。 具 体 分 析 如 下 (Burterweek ,2001): 
© MEAS. OSB oo (WAR. EMRE ec, (nM AX, 
6 用 exit) 取代 euin) HH Er oR ton 以 找 出 一 阶 与 二 阶 校正 量 之 间 的 关 
系 。 
@ 继续 上 述 过 程 ,以 恒 用 PP 阶 自 相关 确定 {P+ 1) 阶 的 自 相 关 。 


令 
Aol!) = Elsoi(n)ed, in)] (5.111) 
及 
Ay) = Eleii(n)et in)] (5.112) 
MFA EBA RE — RR ACD Ag LIRR AB ARO PA 
AD = TMD rk) A ~ k) (5.113) 


KIAT Fool ] 表 示 空 间 傅 里 叶 变 换 。 式 (5.113) 两 边 做 傅 里 叶 变 换 并 且 注 意 到 卷 积 可 用 
该 运算 转化 为 乘积 ,于 是 得 到 
Paps] Ah) = 5 M Fvacel (O) Epel Aol] (5.114) 


其 中 这 三 个 健 里 叶 变 换 莉 有 功率 谱 特 征 ,从 而 是 正 的 。 
式 (5.114) 为 以 严格 方式 推导 稳定 性 条 件 提供 了 基础 。 为 了 继续 探讨 这 个 重要 的 问题 , 设 


步 长 参数 a 满足 如 下 条 件 


0< < 对 所 有 空间 频率 和 大 M (5.115) 


2 
MF pacelr{l)] 
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令 Sa) 表示 抽 头 输入 utn) 的 功率 谱 密 度 ,根据 第 1 华 介 绍 的 爱 因 斯 坦 - 维 纳 - 克 欣 特 软 
(Einstein-Wiener-Khintehine) EAR, So) dE APSE A (DREHER EK., TE, SHAFA 
形式 重新 表示 式 (5.115) 的 条 件 为 





EE 对 所 有 w AAM (5,116) 
即 
0 < < a BLA M (5.117) 
AP 5 表示 功率 谱 窗 度 S(o) 的 最 大 值 。 在 这 种 情况 下 ,由 式 45.114) 可 得 
Fpace[ A)| < Forel Aolf)] ”对 所 有 空间 频率 (5.118) 
或 等 效 地 
A,(0) < ALO) (5.119) 
利用 定义 式 {5.111) 和 式 (5.112) ,我 们 有 
El[|ei dA)] < Eljsox(m) 站 ”对 所 有 抽 头 1 (5.120) 


式 ($.120 ) 表 明 ， 只 要 步 长 参数 u 满足 式 (5.117 ) 的 条 件 ， 一 阶 均 方 值 小 于 零 阶 解 的 均 
TE. p RAO + ) 阶 校正 量 均 方 值 之 间 的 关系 也 辐 样 如 此 。 相 反 地 ， 如 果 式 (5.117) 的 条 件 
AY, Me Cn ) 的 功率 谱 密 度 大 于 eo ,tn ) 的 功率 谱 密 度 ， 而 且 对 所 有 相继 校正 量 来 说 ， 
也 同样 如 此 。 因 此 ，Butterweck 的 选 代 过 程 是 发 散 的 ，LMS 袜 波 器 是 不 稳定 的 。 从 向 可 得 出 
如 下 结论 ， 式 (5.117) 定 义 了 中 等 长 度 的 LMS 滤波 器 和 很 长 的 LMS 滤波 器 均 方 稳定 的 必 归 条 
FY, 

支持 式 (5.117) 作 为 长 1MS 滤波 器 稳定 性 的 某 些 实验 证 据 已 在 Butterweck(2001) 文 献 中 报 
道 ,总结 如 下 : 


se 当 步 长 参数 上 满足 式 (5.117) 条 件 时 ,没有 看 到 不 稳定 现 每。 
e 当 pp 超过 式 (5.117) 的 上 界 时 ,即使 稍为 越界 ,频繁 观察 到 不 稳定 现象 。 


然而 ,在 实验 研究 中 我 们 要 有 足够 的 耐心 ,因为 在 计算 机 模拟 中 不 稳定 性 不 容易 检测 到 。 特 别 
地 ,要 长 时 间 观 察 LMS 滤波 器 的 特性 ,才能 得 到 正确 的 稳定 性 评价 。 例 如 ,在 10 KARRE 
多 次 迭代 下 ,LMS 滤波 器 可 能 均 是 稳定 的 ,而 后 突然 出 现 不 稳定 。 


T IM 滩 波 器 的 收 希 性 〈 稳 定性 ) 分 析 是 许多 年 来 活 芋 的 研究 领域 ， 未 来 儿 年 也 盯 能 如 此 。 由 于 Butterweck (2001) 
的 工作 ， 式 (5，117) 成 为 第 一 个 严格 导出 的 太 M 的 LMS 滤波 器 步 长 参数 p BERRA, PT, AX 
EES p 稳定 性 界 的 充 概 条件 的 严格 推导 仍然 是 一 个 尚未 解 天 的 问题 。 
具有 概率 1 的 LMS 恋 波 器 的 指数 稳定 性 的 充 要 条 件 , 也 已 由 Bitmead(1983,1984)，Bitmead 和 Anderson (1980a,b), 
Gua 等 (1997) 和 Solo( 1997) 所 研究 。 热 而 ,这 些 研究 仅仅 在 "对 于 是 够 较 小 的 步 长 参数 py LMS 算法 是 收 敏 的 "的 意 
义 上 得 出 了 租 一 般 的 表述 ,而 玖 有 络 出 关于 p 的 具体 的 界 。 从 泪 该 器 设计 的 更 点 看 ,我 们 很 需要 TARAS. 
在 详细 的 实验 研究 中 ,Nascimento 和 sayedf2000) 给 出 了 一 个 模 所 结果 ,该 结果 示 出 天 步 长 下 LMS 滤波 器 的 集 平均 学 
SHAS Bae 
。 初始 模式 : 它 符 痛 基 于 独立 性 假设 的 均 方 理论 。 

。 后 来 模式 ; 它 是 较 快 的 , 它 用 几乎 可 靠 的 收 钱 分 析 来 说 明 , 这 种 分 析 吓 建 并 在 LMS 算法 以 概率 1 收 伍 的 准则 基础 
a 
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5.5 LMS 算法 与 最 速 下 降 算 法 的 比较 


在 讨论 这 个 问题 的 时 候 , 科 用 在 第 4 章 所 了 解 的 最 速 下 降 算 法 知 襄 来 看 一 看 随机 输入 下 
的 LMS 算法 ,将 是 十 分 有 益 的 。 

理想 上 ， 当 横向 滤波 器 的 相关 向 量 w_ (rn) 接近 维 纳 - 霍 夫 方 程 所 定义 的 最 优 解 Ww, 时 ， 
可 获得 最 小 均 方 误差 上，， 事实 上 ， 如 第 4 章 所 示 ， 最 速 上 下 降 算 法 在 迭代 次 数 n 赵 近 无 穷 时 
达到 最 优 。 最 速 下 降 算法 的 这 种 能 力 是 出 于 算法 的 每 一 次 送 代 使 用 精确 的 梯度 向 量 所 第 ,。 另 
方面 ，LMS 算法 依赖 于 对 梯度 向 量 的 瞬 态 噪声 佑 计 ， 而 且 具 有 如 下 结果 : 较 大 的 抽 头 权 向 
Eiti wo (n) 能 以 布朗 运动 方式 仅仅 围绕 最 优 解 w, ob. Ak, AAR BR, EA 
IMS 算法 将 导致 均 方 误差 (ww) 人 于 最 小 均 方 误差 Jamo J (2) 大 于 J 的 部 分 称 为 额外 
均 方 误差 。 

最 速 下 降 算 法 与 LMS 算法 还 有 另 一 个 基本 差别 。 第 4 章 已 经 指出 ,最 速 下 降 算 法 有 明确 
定义 的 学 习 曲 线 , 该 曲线 反 喘 出 此 方 误差 对 选 代 次 数 的 变化 情况 。 对 于 这 种 算法 ,学习 曲线 由 
衰减 指数 和 构成 ,其 数量 一 般 等 于 抽 头 系数 的 个 数 、 另 一 方面 ,在 LMS 算法 的 各 种 应 用 中 ,我 
们 发 现 学 习 曲 线 由 噪声 和 衰减 指数 组 成 。 噪 声 的 幅度 通常 随 着 步 长 参数 p 的 减 小 而 减 小 :在 
极限 情况 下 ,LMS 滤波 器 的 学 习 曲 线 具 有 确定 性 的 特性 。 

考虑 自 适 应 横向 滤波 器 集合 ,每 一 个 都 假设 采用 同样 步 长 参数 o 的 LMS 算法 ,并 用 相间 
的 初始 抽 头 权 向 量 w(0)。 另 外 ,每 一 个 滤波 器 都 有 各 自 各 态 历 经 的 平稳 输 和 人 ,这 些 输 人 取 目 
同一 个 统计 源 。 通 过 给 出 估计 误差 en) 的 均 方 幅度 与 兴 代 次 数 n 的 关系 ,可 曾 出 自 适 应 菠 
波 器 集 的 噪声 学 习 曲 线 。 为 了 给 出 LMS 算法 的 集 平均 学 习 曲 线 [ 即 画 出 均 方 误差 Jina) n 
的 曲线 ] ,可 在 自 适 应 滤波 器 集 的 基础 上 对 噪声 取 平均 。 

于 是 ,两 种 完全 木 同 的 集 平均 运算 被 用 在 最 速 下 降 算 法 和 LMS 算法 中 ,以 确定 它们 的 学 
习 上 曲线。 在 最 速 下 降 算 法 中 ,通过 采用 抽 头 输入 和 期 望 响应 群 统计 的 集 平均 运算 ,首先 计算 相 
See RE R 和 互相 关 和 矩阵 p, 然 后 用 这 些 值 来 计算 算法 的 学 习 曲 线 。 另 一 方面 ,在 LMS 算法 中 ， 
首先 对 具有 相同 参数 的 自 适 应 LMS 滤波 器 集 计算 噪声 学 习 曲 线 ,然后 通过 平滑 噪声 学 习 曲 线 
的 集 平均 得 到 最 终 的 学 习 曲 线 。 当 有 Cn) =O, RG. 68) HSE & (rn) 并 没有 反映 噪声 。 
相反 地 ,噪声 是 由 解 的 高 阶 校正 量 a (n) ,g(rn),… 引 起 的 。 因 为 这 些 高 阶 校正 量 是 零 岁 值 
的 , 故 零 阶 解 代表 了 LMS 滤波 器 的 集 平均 曲线 。 














5.6 自 适应 预测 的 计算 机 实验 





对 于 第 一 项 包含 LMS 算 法 的 计算 机 实验 ,我 们 使 用 一 阶 自 回归 过 程 来 研究 实时 数据 集 平 
均 对 LMS 算法 瞬 态 特征 的 影响 。 
接 下 来 ,考虑 一 阶 AR 过 程 ,其 差分 方程 为 
a(n) = —au(n — 1) + rin) (5.121) 


这 里 a 是 这 个 过 程 的 参数 ,v(n) 是 零 均 值 方差 为 @ 的 白 噪声 。 为 了 估计 参数 4, 我 们 使 用 图 
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5.13 的 一 阶 自 反 应 预测 妖 ,预测 器 抽 头 权 值 的 LMS 自 适 应 算法 的 实数 形式 表示 如 下 
Wnt J) = wn) | pulin 一 IF) (5,122) 
其 中 
f(a) = u(n) — w(aju(n — 1) (5.123) 
是 预测 误差 。 





图 5.13 ÉE irm ak 


图 5.14 示 出 :次 简单 实验 中 oln ERRE 之 间 的 关系 ,实验 涉及 以 下 两 组 条 件 : 


1) AR 参数 :ae = -0.99; 

AR 过 程 u(n MAE 107, =0.93627。 
2) AR 参数 :a = +0.99; 

AR 过程 elm D E o =0.995。 


在 这 两 种 情况 下 , 步 长 参数 u = 0.05, 初始 条 件 为 w(0)=0. TUAH w(n) 的 瞬 态 特性 
服从 噪声 指数 曲线 。 图 5.14 也 包含 了 100 次 独立 实验 集 平均 所 得 到 的 ELw(n)] 的 相应 曲 
线 。 对 于 每 一 次 试验 , AR 过程 wfn) 采 用 目 同 的 计算 机 实现 。 我 们 看 到 , 集 平均 平 病 了 梯度 
Ra Fs FX) 

PA 5.15 是 在 前 面 规定 的 实验 条 件 1 所 列 AR 参数 集 情 视 下 均 方 预测 误差 了 ana) 与 选 代 次 
on 的 关系 图 ,其 中 jy =0.05。 由 图 5.15 可 见 ,LMS 算法 单一 实现 的 学 习 明 线 旺 现 严重 噪声 
的 形式 。 这 幅 图 也 包括 100 次 独立 实验 后 集 平均 得 到 的 EF[f "(nn)] 的 相应 图 形 。LMS 算法 学 
习 曲 线 集 平 的 的 平 光 效 应 再 一 次 看 得 一 清二 楚 。 

图 5.16 是 在 前 面 提 到 的 实验 条 件 1 所 列 AR 参数 以 及 变 步 长 参数 u| 具体 来 说 ,所 用 的 z 
为 0.01.0.05.0.1] 的 情况 下 ,LMS 算法 的 学 习 曲 线 的 图 形 [ 均 方 误差 J(n) 相 对 于 送 代 次 数 的 
关系 曲线 ]。 而 且 , 集 平均 在 100 次 独立 实验 后 完成 。 从 这 幅 图 ,可 看 到 如 下 结果 : 


抽 头 权 什 


平方 误差 
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图 5,14 一 阶 自 适应 预测 器 权 值 win) 的 瞬 态 特性 (p= 0.05) 
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图 5.16 ”一 阶 自 适应 预测 器 的 实验 学 习 曲 线 ( 变 步 长 参数 站 
eo 当 步 长 参数 ) 减 小 时 ,LMS 算 法 的 收 叙 率 相应 减 小 。 
名 步 长 参数 p 的 减 小 也 影响 指数 学 习 曲 线 的 变化 。 
5.6.1 实验 结果 与 小 步 长 理论 的 比较 
利用 式 (5.121) 的 一 阶 ( 俩 如 M = DAR 过 程 , 我 们 注意 到 最 前 的 如 下 问题 ; 


1) MRE 及 是 一 个 具有 特征 谱 的 标量 ,该 特征 谱 由 等 于 o. 的 特征 值 4, 和 等 于 ! 的 相 
应 特征 向 量 和 组 成 。 

2) 预测 器 的 抽 头 权 值 的 维 纳 解 w, 等 于 - a。 

3) 最 小 均 方 误差 J, FFARR v(a) MS oio 


这 些 数 值 可 总 结 如 下 


(5.124) 


要 检查 的 第 一 项 是 选择 e 以 证 实在 第 5.4 节 中 应 用 小 步 长 理论 是 正确 的 。 正 如 前 面 所 
说 朋 的 ,通过 选择 一 个 与 114, 比较 很 小 的 yx 米 满足 上 述 要 求 , 其 中 A dt RAE. 
对 于 这 个 实验 , 1， = 1。 由 于 A, =, 故 可 通过 选择 ww =0.001, 使 得 对 于 oa: 两 个 特定 的 值 ， 
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小 步 长 理论 的 要求 得 到 满 症 。 在 图 $.17 中 ,我 们 给 出 了 两 对 w(n) 与 n 的 关系 曲线 (jy = 
0.001) .每 一 对 曲线 对 应 于 不 同 的 参数 e。 一 对 出 线 对 庶 于 100 次 独立 实验 的 集 平 均 结果 ,图 
中 用 "实验 "标记 。 男 一 对 曲线 ,内 “ 理 论 " 标 记 , 是 通过 计算 式 (5.81) 得 出 的 ,其 中 初始 条 件 
定义 为 
































u(0} = w, = -a (5.125) 
它 通 过 令 式 (5.71) 中 的 加 (0) 0a FE, RITESH 
Elw(n}] = -a + all - pod)” (5.126) 
图 5.17 表明 ,对 于 所 有 的 =, 理论 与 实验 结果 具有 很 好 的 一 致 性 。 
li T T T T 7 T 一 一 一 一 上 一 一 
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a 00 
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图 5.17 基于 oln) heH eE 


图 5.18 中 的 学 习 曲 线 再 一 次 证 实 了 小 步 长 理论 。 标明 “实验 ”的 实验 曲线 是 100 次 独立 
试验 预测 误差 f(n) 均 方 值 的 集 平均 结果 。 标 记 为 “理论 ”的 理论 曲线 来 自 式 (5.97) 的 计算 结 
果 , 而 且 对 于 眼前 的 问题 , 式 (5.97) 的 最 后 一 行 变 为 

Jin) ~ zf 十 go) 十 o(a — LAN 一 uoy” pals (5.127) 
对 于 一 阶 AR 过 程 , 白 噪声 v(n) 的 方差 定义 为 [ 见 式 (1.71)] 
o = ol — a’) (5.128) 
因此 ,在 式 (5.127) 中 使 用 式 (5.128) ,可 得 
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fin) ~ gal - a(i + Eaz) $ wala F So? oto - pow" aay (5.129) 


图 5.18 的 实验 曲线 的 计算 参数 为 :a = -0.99,0 =0.93627,2=0.001, MA PUB E 
整个 学 习 上 时 钱 中 , 埋 论 与 实验 结果 的 一 敏 性 非常 好 . 
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图 5.18 基于 均 方 误差 的 自 适应 泡 测 器 的 理论 与 试验 的 比较 tp = 0.001) 


然而 ,使 用 大 的 po 将 极 大 地 影响 理论 与 实验 结果 的 一 致 性 ,特别 是 在 我 们 所 关注 的 LMS 
预测 器 的 收 伍 范围 内 。 该 研究 见习 题 23。 


5.7 自 适 应 均衡 的 计算 机 实验 


在 第 二 个 计算 机 实验 中 ,我 们 研究 用 LMS 算法 自 适应 均衡 引起 (未 知 ) 失 真 的 线性 色散 全 
道 问题 。 这 里 再 一 次 假设 数据 是 实数 的 。 图 5. 19 表示 用 来 进行 该 项 研究 的 系统 框图 。 随 机 
数 发 生 器 | 产生 用 来 探测 信道 的 测试 信号 x, ;而 随机 数 发 生 器 2 用 来 干扰 信道 输出 的 白 噪声 
WR v(n)。 这 两 个 随机 数 发 生 髓 是 签 此 独立 的 。 自 适应 均衡 器 用 来 纠正 存在 加 性 白 噪声 的 信 
道 的 畸变 。 经 过 适当 延迟 ,随机 数 发 生 器 1 也 提供 用 做 训练 序列 的 自 适 应 均衡 器 的 期 望 响应 。 

加 到 信道 输入 的 随机 序列 fx 由 伯 努 利 (Bemoulli) 序 列 组 成 , x, = + 1, 随 机 变量 x, 具有 
零 均 值 和 单位 方差 。 信 道 的 脉冲 响应 用 升 余弦 表示 为 


中” 实验 中 的 参数 严格 按照 Saori 和 Alexander( 1979) 的 方法 选取 。 
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Hh + cos E (n 一 2») | = 1,2,3 
2 W 2 (5.130) 


等 价 地 ,参数 下 控制 均衡 器 柚 头 输入 的 相关 和 矩阵 的 特征 值 分 布 yR) FP HAEA ER W 
的 增 大 而 扩 太 。 随 机 数 恬 生 髓 2 产生 的 序列 yo RAFE TEK oi =0,001。 










随机 噪声 
发 生 器 (1) 


图 5.19 上 自 适 应 均衡 试验 的 框图 


均衡 器 具有 邓 = 11 个 抽 头 。 由 于 信道 的 脉冲 响应 h, 关于 站 =2 时 对 称 , 如 周 5.20(a) 所 
示 , 那 么 均衡 器 的 最 优 抽 头 权 值 w, 在 n=5 时 对 称 , 如 图 5$,204b) 所 示 。 因 此 ,信道 的 输入 x, 
被 延 时 了 A=2+5=7 个 样 值 ,以 便 提供 均衡 器 的 期 望 响应 。 通 过 选择 王 配 横向 均衡 器 中 点 的 
合适 延 时 A, LMS 算法 能 够 提供 信道 响应 的 最 小 相位 分 量 和 非 最 小 相位 分 量 之 道 。 


0 1 2 3 4 n 


(a) 信道 脉冲 顺 虐 





(b) 最 优 横向 均衡 器 前 脉冲 观 应 
图 5. 鸭 ”均衡 器 脉冲 响应 分 析 图 


实验 分 为 相同 的 两 个 部 分 ,用 来 估计 基于 LMS 算法 的 自 适 应 均衡 器 的 啊 应 ,以 便 改 变 特 
征 值 扩散 度 x(R) 与 步 长 参数 &。 在 描述 这 个 结果 之 前 ,我 们 首先 计算 11 个 抽 头 均衡 器 相关 
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矩阵 R 的 特征 值 , 
5.7.1 均衡 器 输入 的 相关 和 矩阵 
在 时 刻 5, 均衡 器 第 1 个 抽 头 输入 为 
u(n) = Dhexn — k) + vín) (5.131) 
其 中 所 有 参数 均 为 实数 。 因此 ,均衡 器 输入 的 1 个 抽 头 uin) ula- Dn, uin- 104E 
阵 及 是 一 个 对 称 的 11x LL RE, EAr, A hey A, O a = 1,2,3 EE, Be 
声 过 程 v(n) 是 零 均 值 .方差 为 o RAIRA BSE R E EIA ( quintdiaponal) AY, Ep 


EPF RR 在 主 对 角 线 及 其 上 下 紧密 相 邻 的 两 条 (分 居 两 侧 , 共 4 条 ) 对 角 线 上 的 元 素 是 非 等 的 ， 
如 以 下 特殊 结构 所 示 


rf0) rfl} rf2) 0 -0 
Al) rO) r(1) 7r(2) = 0 
_ | rr re0) I) 0 
R= O rf2) r(1} r0} … 0 (5.132) 
0 0 0 0 B ¥(0) 
其 中 
AO — Ab+ AB + + 
r(1) = hih; + hh; 
和 


r{2} = hih; 
HEH o% =0.001, AHE, k, hi hi 由 赋予 式 (5.130) 的 参数 W 的 值 来 确定 。 
表 5.2 中 列 出 :{1) 自 相关 函数 r), =0,1,2 的 值 ; (2) 最 小 特征 值 1,。, 最 大 特征 值 
A ;特征 值 扩散 度 CR) = 46/4wo。 由 表 可 见 ,这 些 特征 值 扩 散 度 范围 为 6.0782( W = 2.9) 3] 
46.8216( W = 3.5)。 
#52 自 适 应 均衡 实验 参数 小 结 





W 2.9 3.1 3.3 3.5 

r{Q) 1.0963 1. 1568 1.2264 1.3022 
rt1) 0.4388 0.5596 0.6729 0.7774 
r(2) 0.0481 0.0783 0. 1132 0.1511 
damn 0.3339 0.2136 0. 1256 0.0656 
hou 2.0295 2.3761 2.7263 4.0707 
a(R} = Annee Annie 6.0782 11, 1238 21.7132 46.8216 


实验 1: 特征 值 扩散 度 的 影响 


实验 的 第 一 部 分 , 步 长 参数 固定 为 x = 0.075。 选 择 这 个 值 的 根据 是 ; 步 长 参数 py 必须 小 
于 114wm ,其 中 4 表示 相关 和 矩阵 上 的 最 大 特征 值 (实际 上 ,用 在 实验 中 的 所 有 3 个 步 长 参数 都 
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满足 这 个 要 求 )。 

对 于 每 一 个 特征 值 扩散 度 ,经 过 200 次 独立 计算 机 实验 ,通过 对 瞬时 均 方 误差 ea) 与 mn 
的 关系 曲线 平均 ,可 获得 自 适 应 滤波 器 的 集 平均 学 习 曲 线 。 这 个 计算 结果 如 图 5.21 所 示 。 由 
图 可 见 ,特征 值 扩 散 度 变化 范围 的 扩大 降低 了 和 白 适 应 均衡 器 的 收敛 速率 ,同时 也 提高 了 平均 平 
方 误差 的 稳 态 值 。 例 如 , 当 x(R) =6.0782 时 , 自 适 应 滤波 器 以 平方 方式 收 化 大 约 要 80 thie 
代 ,500 次 选 代 后 平均 均 方 误 盖 值 大 约 等 于 0.003; 另 一 方面 , 当 Xf{ 及 ) = 46.8216 时 ( 即 均衡 器 
输入 处 在 不 恰当 的 条 件 下 ) ,均衡 器 在 均 方 意义 上 收 伍 大 约莫 200 TIEN 500 次 选 代 后 平均 平 
方 误差 值 大 约 等 于 0.04。 


























A 
= 
H 
# E 
T 
[ S 人 We 45 
h 
10 i Ne i anhalt | | W- 33 
| ] 
[ Neha vehi Var Pg ety NAMI ] w= 31 
i NARA No A OA NA | yy 
wti a ie, a L t i i | i 
HERR 


图 5.21 11 抽 涉 的 自 适应 均衡 器 LMS WA | oe = 0.075, 改 变 特 征 值 扩散 度 iR) ] 


在 图 5.22 中 ,对 于 四 个 感 兴趣 的 特征 值 分 布 ,我 们 画 出 了 1 000 次 选 代 后 自 适应 均衡 器 的 
集 平均 脉冲 响应 。 这 个 结果 基于 200 次 独立 试验 。 我 们 看 到 ,在 每 种 情况 下 自 适应 均衡 占 的 
脉冲 响应 关于 中 心 抽 头 对 称 ,这 正 是 我 们 所 希望 的 。 从 一 个 特征 值 扩 散 度 到 另 一 个 特征 值 扩 
散 度 ,其 脉冲 响应 的 变化 仅仅 反映 信 道 脉冲 响应 相应 变化 的 影响 。 


实验 2: 步 长 参数 的 影响 

对 于 实验 的 第 二 部 分 , 式 (5.130) 的 参数 固定 为 3.1, 从 而 均衡 器 抽 头 输 人 相关 和 矩阵 的 特征 
值 扩散 度 为 11.1238。 步 长 参数 j 分 别 取 为 0.075.0.025.0.0075。 

图 5.23 示 出 计算 的 结果 。 与 前 面 一 样 ,每 一 条 学 习 曲 线 都 是 瞬 态 均 方 误 盖 e (rn) 与 的 
关系 曲线 经 过 200 次 独立 试验 后 得 到 的 集 平 均 结果 。 
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图 5.22 四 个 不 同 特征 值 扩散 度 的 自 适 应 均 街 器 的 集 平 均 脉冲 响应 (1 000 次 选 代 ) 
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图 5.23” 当 固定 特征 值 术 散 度 ,改变 步 长 参数 y 时 11 抽 头 自 适应 均衡 器 LMS 算法 的 学 习 曲 线 


228 Ais PIERS RE 


it PEAR EAS T BE Wy ea ERA RRS R EM 4。 当 步 长 参数 较 
Kif CA pe = 0.075) , By ge wee ak Ff aS 120 KA. i u 较 小 时 (如 y = 0.0075) ER 
降低 超过 一 个 数量 级 。 该 结果 也 表明 平均 均 方 误差 的 稳 态 值 随 者 py EKMEK. 


5.8 最 小 方差 无 失真 响应 波束 形成 器 的 计算 机 实验 


对 于 最 后 一 个 实验 ,我 们 考虑 LMS 算法 应 用 于 最 小 方 莽 无 失真 响应 (MYDR, minimum- 
variance distortionless-response) 恋 东 形 成 器 的 情况 , 它 由 5 个 完全 一 样 的 空间 传感器 (如 天 线 ) 的 
线性 阵列 组 成 ,如 图 5.24 Spas, RSE ES ey ees Re RS YE ak eB a BY) 
HBL. RIE ase PEA a td pe RR a Ee PA AY) Aa eS AE 
BAR A Ao. RER AAEE a,  B  S at Aet 
fer He CH Sire HE ee RS . 

这 个 实验 的 目标 包 插 两 个 方面 ， 

© 在 给 定 的 旨 标 - 信 噪 比 下 ,考察 MYDR 波束 形成 器 的 自 适应 空间 响应 随时 间 的 演变 。 

@ 计算 目标 - 咯 声 比 对 波 东 形成 器 零 干扰 性 能 变化 的 影响 。 








一 一 -0 i 
5.24 ”线性 阵列 天线 
车 相对 于 阵列 线 的 甘 线 方向 用 缴 度 来 度量 , 则 是 标 信 号 与 干 抗 信 号 入射 角度 可 表示 为 


9 目标 信号 
Prarget = sin '(—0.2) 
e Fit 
Pinter = sin! (0) 
调整 自 适 应 MVDR ERIE RA A LMS 算法 的 设计 在 第 1.8 节 已 经 介绍 过 。 对 于 


眼前 的 应 用 ,增益 向 量 g = 1。 
图 5.25 4h T REA 10 dB LE THIRA HE (INR, interference-to-noise ratio) HERA 
时 MVDR RAER EES A. SSB ERE LY 20 logo Iw" (n)s() |? HF 


s(6) = [1e e, e, ev] 
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是 转 问 向 量 。 用 狐 度 表示 的 电 人 角度 0 与 人 射 角 中 的 关系 为 

a= nsing (5.133) 
“SH BD BIA we = 10°77 107° 10°", BY INR = 20.30.40 dB ASE RE RBS AR E Bw nA] 
用 LMS 算法 进行 计算 ， 变化 步 长 参数 wx BAT RECA TS EO FRU, 








幅度 响应 dB 
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5.25 “4 eae-F PRS CIN) AER MVDR 波束 形成 器 的 自 适应 空间 响应 ; 
fa n=20;(b)n =100;(c)n=200。 图 中 每 一 部 分 干扰 曲 声 比 假 设 鸭 三 者 之 一 。 
其 中 (的 揭 代 数 太 少 以 致 对 这 些 变 化 没有 最 著 影 响 


图 5.26 表示 经 过 0 次 ,25 次 和 30 次 选 代 后 MVDR 波束 形成 器 的 自 适应 空间 响应 。 图 中 
三 条 出 线 的 条 件 为 :INR = 20 dB, 固 定 信 澡 比 为 10 dB. 

在 图 5.25 和 图 5.26 的 基础 上 ,我 们 可 得 如 下 观察 结果 : 

e MVDR 波束 形成 器 的 自 适 应 空间 响应 通常 被 固定 在 沿 荐 给 定 的 和信 射 角 4... = 


sin '(-0.2)AN 0 dB 的 地 方 。 
© 波束 形成 器 的 零 干扰 容量 随 着 (a) 达 和 代 次 数 增加 和 tb) 于 扰 目 标 信 号 比 的 增 大 而 改善 。 


5.9 非 白 噪声 输入 时 LMS 算法 收 伍 的 方向 性 


横向 滤波 器 抽 头 输入 相关 和 矩阵 R 的 特征 值 结 构 对 LMS 算法 的 站 伍 有 显著 影响 。 当 抽 头 
输入 来 自 于 白喉 声 过 程 时 ,它们 不 相关 ,而 且 相 关系 阵 及 的 特征 值 扩散 度 x(R) 为 1,LMS 算法 
具有 无 方向 性 的 收敛 特性 。 在 另 一 极端 , 抽 头 输入 高 度 相关 `、 且 特征 值 扩 散 度 x(R) 较 大 时 ,化 
通常 发 生 在 非 白 噪声 输入 情况 下 LMS 算法 的 收 敏 性 (类 似 于 最 速 下 降 算 法 ) 呈 现 出 方向 性 。 
而 且 在 这 种 情况 下 ,初始 化 在 决定 妆 伍 速率 方面 起 着 重要 作用 。 事 实 上 , 正 是 这 些 因素 的 结合 
导致 了 图 5.21 中 自 适 应 沟 衡 相当 慢 的 收 敏 速率 。 
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95.26 MRE = 10 晶 , 干 拢 噪声 比 =20 BLA RBH 107, 
选 代 次 数 变化 时 MYDR 波束 形成 器 的 自 适 应 空间 响应 
LMS 算法 在 非 锯 色 输 人 下 呈现 出 的 收 伍 方向 性 器 表现 如 下 : 
1) 在 算法 权 值 空间 的 特定 方向 上 ,牧人 证 的 速度 比 其 他 方向 快 。 
2) 取 决 于 算法 收敛 所 沿 的 方向 ,通过 增 大 特征 值 扩展 有 可 能 加 速 收敛 。 
关于 这 两 个 方面 锥 收敛 方向 性 ,可 用 下 列 例 于 来 说 明 ， 


考虑 两 抽 头 横向 滤波 器 ,其 正确 的 抽 头 向 量 { 凤 维 纳 解 ) 为 w,。 抽 头 输入 x(n) 和 uln 一 了 D 从 包 
含 两 个 正 艾 的 确定 性 过 程 中 得 到 ,其 根据 是 如 下 公式 


u(n} = cosfoin) + Az cos(w,n) (5.134) 
其 中 o 和 w, 是 两 个 正弦 的 角 频 率 , A, 和 4, 基 对 应 的 幅度 。 抽 头 输 人 的 相关 垂 阵 为 
ae Pee Elu(n ~ en 
E[u(n)u(n — 1)] Elwtn — 1)| 
(5.135) 
_ 1] A+A} Ai cos@, + | 
~ 21 A®cosw, + AZ cosa, Ai + AS 


这 个 2x2 SEE FE UT BR A A RE AE E BI A TE EAR BPE 9 








人 PD 本 节 介 绍 的 材料 基于 LeBlanc, J.P. 1995 的 私人 通信 ,[ 亦 可 参见 Caem SF (1991) ]. 
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1 
A, = = AGU + cosa) + 7 An + COS ay) qı = (1,1]7 (5.136) 


1 
2 
1, 1 o; r T 

à = 3 Ai ~ cosa) +5 AXI 一 cos oaj q = [-1,1] (5.137) 


下 面 , 我 们 研究 LMS PAKAH, HERKENT : 

步兵 参数 py =0.01 

HRTF w(0) = [0,0]” 

总 迭代 次 数 n = 200 

特别 地 ,我 们 考虑 两 个 不 同 的 滤波 器 和 两 个 不 同 的 输入 .一 个 滤波 器 是 最 小 特征 滤波 器 ， 
其 抽 头 权 向 量 由 与 相关 算 阵 及 最 小 特征 位 ( 即 A ) 对 应 的 特征 向 量 gp 来 定义 ,而 另 … 个 滤波 器 
是 最 大 特征 滤波 器 ,其 抽水 权 向 芝 由 与 相关 和 矩阵 R 最 大 特征 值 ( 风 A) 对 应 的 特征 向 量 g 来 定 
义 。 两 个 输入 分 别 为 

uala) = cos(l.2n) + 0.5 cost0.in) 
和 
Hin) = cos(0.6n) + 0.5 cos(0.23n) 
第 一 个 输入 的 特征 值 扩散 度 为 (CR) =2.9, 而 第 二 个 输入 的 特征 值 扩散 度 为 x(R) = 12.9. Al 
此 ,存在 四 种 不 同 组 合 。 下 面 ,考虑 两 种 情况 : 
情况 1: 景 小 特征 滤波 器 
在 这 种 情况 下 ,横向 滤波 器 正确 的 抽 头 权 网 量 为 
Wo = = [-1,1]" 
这 里 ,在 输入 wn) 时 ,从 w(0) = [0,0] 开始 ,LMS BRU BO eR” LETT, ERIK 
的 200 次 选 代 中 ,穿越 滤波 器 正确 参数 化 的 大 约 一 半路 程 ,如 图 5.27(a) 所 示 。 

下 面 ,选择 输 入 信号 作为 wn) JAWA wu。(n) 时 特征 值 扩散 度 x(R) 为 2.9 相 比 ,此 处 
特征 值 扩散 度 x(R) 为 12.9。 如 图 5.27(b) 所 示 , 特 征 值 扩 散 度 的 增 大 可 由 谋 差 平面 轮廓 偏心 
度 的 增加 显现 出 来 。 比 较 图 5.27(b) 与 图 5.27(a) 可 以 看 出 ,在 情况 1 中 ,由 于 特征 值 扩 散 度 
CR) (范围 ) 的 扩大 ,LMS 算法 的 收敛 性 变 慢 。 

情况 2: 最 大 特征 滤波 器 

在 这 种 情况 下 ,正确 的 抽 头 权 同 量 为 

w = q = [1,1] 
恢复 输入 zu (az),LMS 算 法 的 收敛 沿 着 * 快 "的 轨迹 进行 , 穿 过 误差 曲面 的 轮廓 ,如 图 5.28(a) 所 
示 。 此 外 , 当 使 用 输入 信号 内 (nm) 时 ,由 于 特征 值 扩散 度 x(R)( 范 围 ) 的 增 大 ,LMS FE KS 
加 快 ,如 图 5.28(b) 所 示 。 

在 这 个 例子 中 ,初始 值 w(0) 是 固定 的 ,但 正确 的 抽 头 权 向 量 w, 从 情况 ! 变 到 情况 2。 在 
LMS 算法 应 用 于 平稳 输入 的 通常 情况 下 ,正确 的 抽 头 权 向 量 w, 十 一 个 未 知 的 固定 值 。 对 于 
某 个 固定 的 w, ,可 对 该 例子 等 效 地 规定 初始 条 件 如 下 
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4(0) = | -中 ”对 情况 1 (最 小 特征 滤波 器 } 
因此 ,根据 这 个 例子 的 结果 ,通过 选择 合 返 的 初始 条 件 w(0) ,可 利用 TMS 算法 的 收敛 广 
向 性 ,使 得 算法 沿 卷 “ 快 "的 轨迹 进行 。 当 然 ,必须 假设 LMS 算法 运行 环境 的 先 验 知识 可 用 。 
在 这 种 情况 下 ,LMS 算法 很 好 地 起 到 "调整 " 构 向 滤波 器 拙 头 权 值 的 作用 . 








{b} 当 输 入 Ht} 时 


图 5.27 对 于 确定 性 正弦 过 程 ,LMS 算法 沿 着 “ 慢 " 特 征 向 量 ( 即 最 小 特征 滤波 器 ) 收 敛 
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图 5.28 对 于 确定 人 性 正统 过 程 ,LMS PSR RE BC PB A 


5.10 LMS 滤波 器 的 鲁 棒 性 : H 准则 


第 5.2 节 所 介绍 的 LMS 滤波 器 的 推导 是 采用 启发 式 进行 的 , 它 从 最 速 下 降 算法 出 发 ,并 
以 此 作为 计算 自 适 应 横向 滤波 器 维 纳 解 的 基础 。 然 而 ,一旦 在 这 项 研究 中 引用 自 相 关 和 矩阵 和 
互相 关 向 量 的 瞬 态 估计 ,它们 与 隐 含 在 维 纳 解 中 最 小 均 方 估计 的 联系 将 被 破坏 。 如 采 LMS BE 
波 器 在 均 方 误差 意义 上 的 “单一 "实现 不 是 最 优 的 ,那么 ,什么 是 其 最 优 的 实际 准则 呢 ? 为 了 回 
答 这 个 基本 问题 ,我 们 提出 两 个 有 关 的 问题 ， 


1) 在 关注 LMS 滤波 器 的 单一 实现 时 ,我们 避免 采用 第 5.4 节 所 做 的 关于 统计 LMS 理论 的 





第 5 章 最 小 均 方 自 适 应 滤波 235 





统计 候 设 ;因而 采用 确定 性 方法 - 
2) 我 们 需要 一 个 适合 确定 性 估计 问题 的 最 优 淮 则 。 
为 了 钙 理 第 1 个 问题 ,假设 有 一 组 观测 数据 ,这 些 数 据 适合 如 下 多 重 自 回归 模型 
din) = wiu(n) + v(m) (5.138) 
其 中 wE- RAISE (EPR A SE PRA PE CEH: 
e H SE Pe eb rR 
o 建 模 误差 :例如 , 疯 测 数据 的 正确 模型 可 能 是 IR RRB RO hi ig FE 
端 以 适应 使 用 式 45.138)HTR 模型 的 需要 ， 
来 白 末 知 于 扰 源 的 其 他 于 扰 。 
式 1 人 .138) 与 式 1{5.66) 具 有 相同 的 数学 形式 ,个 对 于 参数 向 量 和 了 噪声 使 用 不 同 的 符 导 ,以 强调 
此 处 采用 的 方法 不 同 于 第 5.4 节 的 随机 方法 。 特 别 地 , 厅 需 要 对 y(n) 的 统计 特征 做 出 候 设 。 
下 面 , 转 到 第 2 个 问题 , 令 Ww(n) 表 示 未 知 参 数 疝 量 w 的 递归 估计 ,通过 对 i < ”处 理 所 
有 的 输入 向 量 和 期 望 响 应 ju( i) ,a()1 来 获得 这 样 的 估计 。 此 外 ,注意 递归 估计 w(n) 是 严格 
因果 的 ,对 于 LMS 滤波 器 的 情况 ,这 一 点 从 式 45.5) 看 得 很 清楚 。 权 值 误 善 问 量 gl nn) 定义 为 
e(n) = w— Win) (5.139) 
典型 地 ,初始 值 w(0) 不 同 于 w 。 因 此 ,在 评价 递归 估计 策略 时 ,要 考虑 如 下 两 种 干扰 : 


© 初始 加 权 误 差 向 量 











Et0) =w 0) 

© 多 重 回归 模型 中 的 加 性 干扰 sin) 

Av #8 aR GL -F (transfer operator) , 它 将 递归 和 佑 计策 略 的 输入 端 干 扰 映 射 为 输出 端的 估 
计 误 差 , 如 图 5.29 所 示 。 注 意 5 是 一 个 用 来 构造 Ww(n) 的 估计 策略 函数 ,因此 我 们 可 把 估计 器 
的 能 量 增 益 定义 为 输出 端 误 差 能 量 与 输入 端 总 干扰 能 量 之 比 。 很 明显 ,这 种 比值 取决 于 输入 
干扰 的 特殊 选择 。 为 了 取 浓 这 种 依赖 性 ,我 们 考 虚 基于 所 有 可 能 干扰 序列 的 最 大 能 量 增益 。 
为 此 ,定义 转移 算 子 ? 的 8H" 范 数 。 现 在 ,我 们 可 将 最 优 A 估计 问 题 表述 如 下 ?: 

寻找 一 个 能 够 使 5 的 如 = 范 数 最 小 化 的 因果 估计 器 ,其 中 5 是 一 个 将 干扰 映射 为 估计 误差 


HRBET 
初始 加 权 
Be alt 
e(0} 
BBAT 估计 误差 
ne - 


图 5.29 最 优 R 估计 问题 的 表示 (图 中 ,转移 算 子 输出 的 通用 个 计 
误差 可 以 是 权 值 误差 向 量 .未 受 损伤 的 输出 误差 等 ) 


LMS REMESROS 8 最 优 性 首先 在 Haanibi 等 (1993,1996) 的 论文 中 讨论 过 。 在 Sayed 和 Kailahi 1994) ,Sayed 和 Ruppt1997) 论 
文中 也 概略 地 讨论 过 。 第 5.10 节 介 绍 的 理论 应 用 于 标准 LMS 滤波 器 ;也 可 以 用 多 种 方式 加 以 推广 如 第 6 章 讨论 的 所 一 
LLSD. DESEE H 最 优 佑 计 器 并 不 是 惟一 的 ,ENBS 滤波 器 只 是 扬 谓 的 中 心 解 决 方案 。 
尽管 有 关 中 = 理论 的 书 糙 糊 多 ,然而 ,Hassibi 等 (1999) 的 书 给 出 了 居 计 1/ 自 适应 滤波 的 一 个 透视 。 
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所 找到 的 下 "最 优 估计 器 具有 明太 最 小 值 (minimax) 特 性 。 更 详细 地 ,在 如 下 意义 上 ,我 们 可 将 
下 "最 优 佑 计 癌 题 看 做 游戏 理论 问题 :作为 反方 ,自然 可 以 接 人 未 知 干扰 ,因此 能 量 增益 最 大 
化 。 万 一 方面 ,设计 者 可 以 选择 因果 估计 器 使 得 能 量 增 益 最 小 化 。 因 为 这 里 没有 对 于 扰 做 出 
假设 , 故 A "估计 器 要 考虑 所 有 可 能 的 十 扰 。 因 此 ,这 样 的 估计 项 可 能 “过 分 保守 ”, 即 它 是 .一 
个 "最 坏人 情况" 的 估计 器 。 

下 面 ,我 们 来 证 明 ,在 后" 意义 上 LMS 滤波 器 是 一 个 最 优 估计 器 。 

作为 与 加 权 误 差 向 量 (n) PRR A RS ES ,我 们 引 人 和 人 无 于 扰 佑 计 误 差 ,或 无 于 
扰 误 差 信 号 的 福 念 , 它 定义 为 








En) = (w — W(n))"u(n) 
= e"(n)ul(n) 
“无 干扰 "项 用 上 标 e 表示 ,其 自 的 是 为 了 与 式 (5.7} 的 估计 误差 ef(a) 相 区 别 。 特 别 地 ,< n) 
将 滤波 器 响应 Ww (nju(n) 与 式 (5.138) 的 回归 模型 的 “无 干扰 "响应 waatzj[ 而 不 是 期 望 响应 
zz)] 相 比较 。 实 际 上 ,由 定义 式 (5.7) 和 式 (5.140) 可 知 , 两 个 估计 误 盖 总 (8) 与 efan) 的 关系 
为 


(5.140) 





én) = e(n) — v(m) (5.141) 
其 中 y(n) 是 多 重 回归 模型 的 加 性 干扰 。 
为 了 计算 任意 估计 器 的 有 " 范 数 ,需要 计算 从 于 拢 到 式 (5.140} 的 于 于 扰 估 计 误 差 的 最 坏 
能 量 增益 。 为 了 得 到 能 量 增益 的 界 ,我们 对 内 积 s(n)a( a) 使 用 柯 西 - 许 瓦 芯 (Cauchy-Schwarz) 
不 等 式 。 为 了 表述 这 个 不 等 式 ,考虑 两 个 复 向 量 a 和 hb 的 内 积 。 柯 西 - 许 瓦 芯 不 等 式 指出 ,内 
P a'b 的 绝对 值 具 有 上 界 | all il || , 即 
abs jai lb]? 
对 于 眼前 的 问题 ,我 们 有 
a= e(7) 
及 
b = u(r) 
从 而 ,把 柯 西 - 许 瓦 芯 不 等 式 用 于 现 有 问题 , 即 得 
le#(n)u(n)| < jelu) 
或 等 效 地 ,根据 式 (5.140), 有 
EF S e(a) (5.142) 


下 面 ,假定 选取 一 个 正 实数 ,使 它 满足 如 下 条 件 
. 1 
OS op 


很 明显 ,如 果 该 条 件 成 立 , 式 (5.142) 的 不 等 式 可 重 写 为 
En) S eN (5.143) 


事 际 上 ,可 进一步 做 如 下 工作 :假设 式 (5.143) 的 不 等 式 对 于 任意 估 值 w(n) 成 立 , 如 果 不 
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等 式 的 右边 再 增加 一 个 干 抗 的 幅度 平方 项 1rfn) 1 , 式 (5,1 和 3) 仍 然 成 立 。 即 
EUDE S peta)? + letat (5.144) 
它 把 十 护 oio AEDA. 
在 以 上 讨论 中 ,我 们 还 没有 说 到 如 何 计 算 估 什 w{a)。 现 在 使 用 正 实数 py 作为 步 长 参数 
的 LMS rege BEE Se NAR, OG DELTA Win) 的 更 新 公式 。 利 用 该 式 , 很 容易 证 
HAs Ue a NT ua ,如 在 式 (5.144) 左 边 增 加 一 项 中 eCn+1) 有 后, 式 {5.144) 的 
不 等 式 将 变 得 紧 致 {其 证 摧 合 见习 古 17》。 于 是 ,该 紧 致 不 等 式 为 
w hefa + DF + la) Se + fey)? (5.145) 
包括 所 有 的 变量 和 感 兴 趣 的 参数 。 
当 自 适应 滤波 过 程 进行 时 ,输入 向 量 utn) 自 然 随 着 离散 时 间 n ik. BERIJA n=0 
的 初始 条 任 ww) a ELEN 次 LMS 算法 , 则 产生 一 系列 估计 |Ww() 2), ,WCN) i 及 对 
应 的 无 干 拢 怖 计 误差 1 和 & (1),&,(2),...， (AD 注意 ,上 述 算法 是 因果 的 ,所 以 n=0 之 前 
不 存在 响应 。 幅 两 个 因果 序列 的 所 有 元 素 都 满足 式 (5.145) .只 要 对 于 任意 整数 N, 步 长 参数 
u 满足 如 下 条 件 


1 
Dg min. 一 一 一 5.146 
PEs jun) (3.146) 


根据 输入 信号 能 量 | a(n) |? 的 定义 ,我 们 有 
fata)? = pufa — 1Y + [e 
从 而 
hua) ua — 1)? 

其 中 当 且 仅 当 xfn) 为 零 时 等 式 成 立 。 由 此 可 见 , 根 据 式 (5.146) , 步 长 参数 py BMWS. M 
一 次 送 代 到 下 一 次 迁 代 , 步 长 参数 下 降 , 并 以 概率 接近 1。 而且, 式 (5.145) 对 步 长 参数 a 强加 
的 条 件 十 分 不 同 于 式 (5.117) 的 条 件 , 它 假设 长 M 滤波 器 在 均 方 意义 上 收敛 。 

如 果 关 于 步 长 参数 u 的 式 (5.146) 条 件 成 立 , 则 从 初始 条 件 w(0) 出 发 而 且 在 0 二 assNw-1 
范围 内 对 式 (5.145) 的 不 等 式 两 边 求 和 , 可 得 


N-I N=] 
peN)? + >, lean} Sp elo + ZF 
很 明显 ,如 果 不 等 式 成 立 , 必 有 
N-I N-I F 
2 EF E aleo + 之 (| (5.147) 


Ay? (4) 表示 步 长 参数 为 的 LMS 滤波 器 的 最 大 能 量 增益 。 则 利用 式 (5.147) 可 以 号 出 








0 BERG MOBS p 随 选 代 次 数 增加 而 减 小 ,使 我 们 起 起 LMS 算法 与 随机 通 近 之 间 的 关系 (Robbins & Monro, 
1951; Sakrison, 1966), EE 


wa t+ 1) = wr) + Lugmet(n) 


这 里 itn 起 着 步 长 参数 的 作用 。 
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yu = sup (5.148) 


w, veH? 41 3 wol 2 
ale + Dm) 


其 中 F Amni EFN OR AS ARE J square-summable causal sequenees) 的 空间 ,sup” 表 示 
ERA supremum), 2065.14) aE REH, E AAR l e0 上 ?是 由 
初始 条 件 Ww(0) 引 起 的 十 护 能 量 ,3 1v(n)1? EEEE ER v(n) 的 能 量 。 式 (5.148) 
的 分 子 是 LMS 滤波 器 产生 的 无 干枯 人知 计 误差 b(n ASAE 
式 (5.147) 具 有 重要 的 实际 解释 : 
如 果 IMS 滤波 器 的 市 长 套数 y 满足 式 (5,146) 条 件 , 无 论 多 重 回归 模型 未 知 参数 向 量 w 
的 初始 权 向 量 W(0) 如 何不 同 , 也 无 论 加 性 干扰 v{n) 的 大 小 ,LMS 滤波 器 的 输出 误 盖 能 量 
不 会 超出 滤波 器 输入 端的 两 个 千 护 能 量 ,而 这 两 个 干扰 能 量 是 由 加 下 两 方面 产生 的 : (1) 
初始 条 件 Ww{0) 的 选择 ;(2) 干 扰 v(n) 的 在 在 。 


这 段 解释 说 明了 LMS 滤波 器 鲁 桂 性 的 原因 ,内 为 在 面 对 影响 滤波 器 运行 不 可 避免 的 干扰 情况 
下 , 它 力图 估计 未 知 参 数 向 量 w. 
由 式 (5.147) 和 式 (.148) 容 易 看 出 


Yu) <1 对 于 0 << min -二 -5 RAEN (5.149) 


16080 u(r)? 


于 是 ,可 以 证 明 LMS 滤波 器 最 大 能 量 增 益 以 1 为 界 ;换言之 ,估计 误差 能 量 永远 不 会 超过 
干扰 能 量 。 令 人 惊奇 的 事实 是 :LMS 滤波 器 的 最 大 能 量 增益 精确 为 1。 此 外 也 表明 ,不 存在 最 
大 能 量 增益 严格 小 于 1 的 其 他 滤波 器 。 这 意味 着 LMS 省 波 咒 是 H 意义 上 最 优 的 。 

为 了 证 明 LMS 滤波 器 的 这 个 特性 ,我 们 引入 一 个 干扰 序列 ,使 得 对 于 任何 涨 波 器 ,其 最 大 
能 重 增益 能 够 任意 接近 于 1。 为 此 ,想像 一 个 于 扰 vn) ,使 得 满足 如 下 设置 

pin) = 一 ef 对 所 有 
车 一 看 ,这 个 条 件 似 乎 是 不 现实 的 。 然 而 , 它 的 确 是 可 能 的 ,因为 它 处 于 式 (5.138) 所 述 干 掩 
v(n) 的 无 约束 模型 范围 内 。 在 这 种 特殊 设置 下 ,容易 从 式 (5.141) 推 知 :对 于 所 有 ,el(n)=0。 

现在 不 难看 出 , 当 误差 信号 e(n) =0 时 ,能 得 到 有 界 的 最 大 能 量 增益 的 任何 滤波 器 都 不 
会 改变 它 对 未 知 权 向 量 w 的 估计 。( 否 则 , 当 干 扰 能 量 为 0 时 ,我 们 将 得 到 非 零 的 估计 误差 ， 
这 将 导致 无 限 能 量 增益 。) 因 此 ,对 于 这 个 特定 干扰 和 能 够 获得 最 大 有 限 能 量 增 益 的 任意 滤波 
器 .我们 可 得 出 如 下 结果 





w(n) = wO) ”对 所 有 n 
因为 &.(n) = -y(n), 故 对 于 特定 干扰 , 式 (5.148) 的 能 量 增益 采取 如 下 特殊 形式 
pA 
F(a) = -r 对 于 和 全 站 = ln) (5.150) 
eye (OV? + PA 
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fin, D fate? < o (5.151) 
[ 即 输 入 向 量 uCn) 是 受 激 的 ]。 由 此 可 知 , 对 于 任意 给 定 的 正常 数 ?, 总 能 找到 一 个 参数 向 量 w 
和 一 个 整数 W ,使 得 
N-I Noi 
n)? = Ifw — w n(n) Lipa ee 
Zh = Dele — nl > so iw — WO] eo 
使 用 式 (5.148) 的 选择 并 消去 共同 项 ,可 得 
1 
lego 


现 可 看 出 ,对 于 这 个 特定 干扰 ,通过 使 常数 8 趋 于 零 EREA A A A a] CAE E 
接近 1]。 因 为 任何 滤波 器 的 最 坏 和 情况 于 挑 一 定 产生 最 大 能 量 增 益 ( 而 没有 比 这 个 特殊 值 更 小 
的 值 ) , 故 可 得 出 如 下 结论 : 


@ 对 应 于 " 量 坏 情况 ”于 扰 的 任意 滤波 器 的 最 大 能 量 增益 永 不 会 小 于 ] 。 
然而 , 式 (5.149} 告 诉 我 们 : 
LMS 滤波 履 的 最 大 能 量 增益 不 会 超过 1。 
这 两 个 表述 意味 着 LMS 滤波 器 实际 上 是 H 最 优 的 ( 即 , 它 使 最 大 能 量 增益 最 小 化 ) ,而 且 意 昧 着 
fand 
总 之 , 串 刚 介绍 的 肉 容 是 重要 的 ,原因 如 下 : 
多 由 于 自 适 应 均衡 器 首先 应 用 于 电话 信道 ,因此 那个 时 候 人 们 认为 基于 LMS 算法 的 自 适 
应 均衡 器 对 于 电话 信道 于 扰 具 有 和 曾 棒 性 。 
# 事实 已 经 证 实 以 前 的 实际 观察 ; LMS 算法 在 8" 意义 上 是 最 优 的 。 





5.11 不 同情 况 下 步 长 参数 的 上 界 


为 了 对 本 章 的 LMS 算法 有 一 个 总 的 了 解 ,我 们 给 出 关于 算法 步 长 参数 py 的 三 个 上 界 。 每 
一 个 界 表示 算法 运行 的 不 同方 面 。 这 些 关于 p 的 上 界 总 结 在 表 5.3 中 , 表 中 也 包括 表示 问题 
上 界 所 涉及 的 各 种 参数 的 说 明 。 


5.3 LMS 滤波 山 步 长 参数 三 种 不 同上 界 的 小 站 








必要 条 件 步 长 参数 p 的 上 界 参数 的 说 阴 
1.LMS RUN 。 ;二 hee = 抽 头 输入 相关 矩阵 的 量 大 什 
2. 长 LMS 巡演 器 的 稳定 性 We M = RUME 


su = RE ASS EI ACHE 
SIMS 波 流 矢 的 "最 优 性 min, Tay? N= 用 于 序列 LMS 滤波 器 的 先 代 次 数 
u(n) = 抽 头 输入 向 量 
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第 一 个 上 界 274% 是 必要 条 件 , 由 小 步 长 理论 导出 的 零 阶 和 解 的 稳定 性 一 定 要 满足 这 个 条 
件 。 然 而 ,这 个 理论 智 略 了 高 阶 量 的 影响 ;因此 表 中 未 对 请 取 大 值 时 基于 小 步 长 理论 的 LMS 
滤波 器 的 稳定 性 做 出 令 人 信服 的 说 明 。 

第 二 个 上 界 YMS w EAE LMS 滤 被 器 的 统计 理论 排出 的 , 它 已 在 第 5.4 节 的 后 半 部 做 了 
介绍 。 这 个 新 理论 不 同 于 小 步 芭 理论 之 处 在 于 , 它 既 考虑 了 零 阶 影响 ,也 考虑 了 山 阶 影响 。 此 
外 ,计算 机 模拟 表明 这 个 界 是 “ 紧 致 的 ” ,因为 一 已 超过 ,LMS 滤波 器 就 会 发 生 振荡 。 

不 过 ,任意 长 度 LMS 滤波 器 稳定 性 的 充 要 条 件 的 推导 仍 是 一 个 尚 木 解雇 的 问题 。 

上 述 关 于 pe 的 两 个 界 都 是 经 其 些 变换 得 出 的 结果 。 第 一 个 界 是 西 相 亿 变换 ( 即 特征 分 
解 ) 用 于 抽 头 输入 相关 矩阵 导出 的 结果 ;而 第 二 个 界 是 傅 里 叶 变 换 用 于 对 应 的 自 相 关 序列 获得 
的 结果 。 表 5.3 总 缚 的 第 三 个 界 不 同 于 上 述 吊 个 界 , 因 为 它 是 严格 地 从 能 量 考虑 有 出 的 。 这 
个 推导 在 第 5.10 节 介 绍 过 。 特 别 地 ,对 任意 整数 ,第 三 个 界 min 1 | ula) | 是 IMS 滤波 
器 下 最 优 修 的 必要 条 件 。 前 两 个 界 是 固定 的 ,而 第 三 个 界 是 时 变 的 。 几 外 , 它 支持 了 如 下 众 
所 周知 的 事实 ; 当 pe 为 较 小 值 时 ,LMS 滤波 器 工作 得 最 好 ， 因 此 ,根据 第 三 个 界 选择 4 时 ,不 
但 保证 了 滤波 器 的 鲁 棱 性 , 简 且 也 满足 小 步 长 理论 实际 应 用 的 要 求 。 


5.12 确定 性 输入 时 的 转移 函数 方法 


第 5.4 节 介绍 的 LMS 滤波 器 理论 完全 以 时 域 思想 为 基础 。 我 们 现在 通过 对 确定 性 输 人 
描述 另 一 种 名 为 转移 函数 方法 (iransfer function approach) 的 方法 来 重新 考察 LMS 滤波 问题 。 
在 这 个 方法 中 , 当 假设 滤波 器 长 度 很 大 (这 与 第 5.4 节 简 要 讨论 的 Butterweck 波 理 论 的 假设 一 
样 ) 时 ,“ 非 线性 ”LMS 滤波 器 可 用 "线性 "离散 时 间 系 统 来 近似 。 转 移 妆 数 方法 来 自 于 第 3.3 T 
介绍 的 正 芍 干扰 自 适应 噪声 消除 的 确定 性 分 析 。 这 个 新 方法 吸引 人 的 特点 是 ,其 有 效 性 不 受 
步 长 参数 值 的 限制 。 然 而 , 它 的 应 用 受到 稳 态 分 析 的 限制 。 由 于 这 个 限制 , 它 不 能 获得 滤波 器 
稳定 时 步 长 参数 的 上 界 。 

为 了 用 公式 表示 转移 函数 方法 ,我们 从 权 值 更 新 方程 (5.8) 出 发 来 开始 工作 。 由 于 假设 因 
果 性 ,重复 应 用 该 方程 ,可 得 


n—l 
w(n) = W(0) + yu > e*l uli) (5.152) 
1=0 


其 中 w(0) 为 初始 权 向 量 。 相 应 地 ,LMS 滤波 器 的 输出 可 表示 为 





他 ”在 正弦 千 扰 的 自 适应 噪声 消除 范围 内 的 转移 画 数 方法 首先 由 Glover( 1997) 给 出 。 这 个 方法 后 来 被 Clarkson 和 White 
(1987) 推 广 用 来 分 析 确 定性 输入 的 LMS 滤波 器 的 性 能 。 
另 一 简 值 得 一 扣 的 有 关 自 适应 滤波 髓 频 域 分 析 的 文章 是 Gunnarsson 和 Ljungt1989) 的 论文 。 该 文 的 焦点 是 模 据 真 实 
转移 函数 与 自 适应 让 波导 计 转 移 函 敬之 间 均 方 误差 的 性 能 测量 的 公式 化 表 未 。 在 四 踪 线 性 时 变 系 统 的 范围 内 进 
行 性 能 评价 ,这 是 第 14 章 研究 的 课题 。 
更 重要 的 是 ,Reuter 和 Zeidler(1999) 以 及 Quick 等 (2000) 使 用 转移 丁 数 方法 证 明了 ,通过 利用 LMS 滤波 器 国有 的 砷 线 
性 特性 ,有 可 能 获得 性 能 方面 优 于 相应 维 纳 滤波 器 的 LMS 滤波 问 。 这 种 与 传统 常识 相抵 触 的 不 寻常 的 LMS 被 波 器 
特性 ,很 自 热 地 称 为 非 线性 LMS 现象 。 遗 憾 的 居 , 第 5.4 节 介绍 的 小 契 长 理论 忽略 了 高 阶 项 , 而 高 阶 项 对 于 分 析 非 
线性 现象 是 很 重要 的 。 对 于 这 个 情况 的 研究 ,Reuter 和 Zeidler( 1999) LL Quirk 等 (2000) 集 中 在 包含 自 适 应 均衡 和 
自 适 应 噪声 水 陈 的 闪 带 应 用 方面 。 该 处 业已 还 明 ,LS DRE RA RERE TE T HB I RHE R MUR 
Fu PAR AS FH ARE RE KS. 
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y(n) = {njaa} 


= WOMEN) + wD eu (5.153) 
上 式 包 括 式 (5.54) 作 为 其 特例 。 
定义 LMS 滤波 器 抽 头 输入 的 时 间 平 均 自 相关 限 数 沪 
1 Af-} 
Fmi = M D u(n ~ Autti = D 
i ye (5.154) 
= yt O) 
HER CE M 较 大 时 ,假设 信号 eMBA IR, ay pS 
rni S= a 对 于 大 时 (5.155) 


其 中 ,rln - DBTBA SOE BAe. AE EER. 154) WIT (5. 155), AR 
(5.15 PRA wo? (un) SEA Mrina - i), AAR LMS JERR SET BT A 





y(n) =~ #*(O)u(n) + uM Y eijn - i) (5.156) 


EG. S60) KDR ARB] BRAS e(n) 5 BAR rín) SR. E LMS 滤波 器 的 误 
差 信号 为 

e(n) = d(n) 一 y(r) 
因此 ,从 期 望 响应 dd(n) 中 减 去 式 (5.156) ,可 得 长 LMS 滤波 器 的 常 系数 线性 差分 方程 , 即 


e(n) + uM Teliyrtn — i) = xin) (5.157) 
t=O 


其 中 
x(n) = d(n} — w"(0)u(n) (5.158) 
式 (5.157) 描 述 了 一 个 离散 时 间 系 统 , 其 中 x(n) 为 激励 信号 ,误差 信号 s(n) 为 结果 响应 。 线 
性 系统 作为 非 线性 LMS 滤波 器 近似 的 正确 性 受制 于 如 下 两 个 条 件 : 
e IMS 滤波 器 的 抽 头 输 人 来 自 于 确定 性 过 程 。 
$ LMS 滤波 器 的 长 度 较 大 。 
式 (5.157} 可 用 展开 形式 写 为 
e(n) + gMr(l)etn - 1) t+ pMr(nje(0) = x(n) (5,159) 
其 中 ,在 稳 态 条 件 下 ,时间 指数 n 趋 于 无 穷 。 设 BE(z) 和 于 (xz) 分 别 表示 误 善 信号 e(n) 和 激励 
信号 x(n) 的 z 变换 。 对 式 (5,159) 做 z 变换 ,并 对 转移 函数 系统 求解 , 则 有 
E(z) 


H(z) = yey n> 00 (5.160) 


从 而 得 到 
(5.161) 
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其 中 
R(z) = ne {5.162) 


以 式 (5.160) ~ 式 (5.162) 为 基础 ,我 们 现在 可 描述 定义 在 s 域 的 LMS 滤波 器 的 线性 系统 近似 ， 
如 图 5.30 所 示 。 
性 离散 


ik 
SEER HERA 误差 信号 EI2) 的 z ER 
Hiz) 


图 5,30 长 LMS WETER RTEA RA ENEE 


我 们 对 确定 JC oo) BRM , 它 表示 LMS 滤波 器 的 稳 态 均 方 误差 。 为 了 确定 Je) ,我 们 对 
现 有 情况 使 用 第 1 章 采 用 过 的 两 个 定理 ;: 
定理 1: 令 5.(w) 表 示 确 定性 过 程 x(n) 的 功率 谱 密度 , 它 应 用 于 由 转移 函数 H(z} 表征 的 
离散 时 间 系 统 。 令 eln) 表 示 该 系统 产生 的 过 程 ,其 功率 谱 为 S Cw) M 
Sm) = |Hfe*))"S,(w) (5.163) 
其 中 aCe”) TURE LIE H(z) 得 到 。 
定理 2; 过 程 的 稳 态 均 方 值 与 其 功率 谱 密度 S$,(w) 的 关系 为 


1/2 
(oo) = [, Stora (5.164) 


这 里 , 谱 域 中 的 角 频 率 支持 假 设 为 1。 

根据 以 上 定理 ,利用 转移 阔 数 方法 确定 稳 态 均 方 谋 差 Jo ) 的 步 最 可 归纳 如 下 : 

DAE LMS 滤波 器 抽 头 输 人 的 自 相 关 序列 |r( 站 | 六 1 ,使 用 式 (5,162) 确 定 z 变换 R(z)。 

2) 对 于 特定 的 步 长 参数 a 和 滤波 器 长 度 村 ,用 式 (5.161) 确 定 近似 线性 系统 转移 函数 
H(z). 

3) 对 于 特定 的 初始 条 件 w(0) ,使 用 式 (5.158) 确 定 激励 信号 *(n), 然 后 计算 激励 信号 的 
抽样 功率 谱 窗 度 5S, (w)。 

4 使 用 式 (5.163) 计 算 误 差 信 号 efn) 的 功率 谱 密度 ,然后 用 式 (5.164) 计 算 LMS 滤波 器 的 
稳 态 均 方 误差 J( % )。 


5.12.1 特殊 情况 


对 于 式 (5.158) 定 义 的 激励 信号 *(m) ,我们 已 经 研究 了 转移 函数 方法 的 基本 理论 。 以 下 


是 我 们 特别 感 兴趣 的 两 种 情况 : 
情况 1: 初始 化 抽 头 权 向 量 w(0) = 0。 这 种 情况 对 应 于 LMS 滤波 器 通常 初始 化 的 情 帝 。 
在 式 (5.158) 中 令 w(O) =0, 容 易 发 现 此 时 激励 将 变 为 期 望 响 应 , 即 
x(n) = d(n) 


情况 2; BALA ALE w0) =w, EE LMS 滤波 器 分 解 为 一 对 滤波 器 :时 不 变 维 纳 
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滤波 器 和 时 变 失 调 滤 波 器 ,它们 与 输入 端 并 联 , 如 图 5,31 所 示 。 因 此 ,我 们 可 把 LMS we teh 
LAR A (nn}) 表 示 为 
win) = wy + mlh) 
其 中 w 和 ww(n) 分 别 表示 维 纳 滤波 器 和 失调 滤波 器 的 权 向 量 。 在 情况 2 中 , 自 适 应 滤波 的 
作用 通过 令 Wn (0) = 0 获得 初始 化 , 它 等 效 于 用 维 纳 滤波 器 对 LMS 滤波 器 初始 化 。 从 而 ,在 
式 (5.158) 中 令 w(0) = w, ,可 得 激励 信和 号 为 
x{n) = din) — whats) 
= e(n} 
这 就 是 说 , 令 情 况 2 PAF URE ARAM aS x(n) TE ae ERR 
差 信 号 e,(n)o 


Wy Ee RE et 


Wins (a) 





Bt AS BE SE Sy t E 
Wo 


5.31 分 解 LMS RE aE AR A RI eS a k AR 


从 实用 角度 看 ,情况 1 具有 实际 意义 ,而 情况 2 只 具有 理论 意义 。 这 样 说 的 原因 是 ,如 果 
一 开始 最 优 维 纳 解 w, 已 知 的 话 ,我 们 就 没有 必要 使 用 自 适应 滤波 器 来 估计 它 了 1 


5.13 ”本章 小 结 


本 章 详细 研究 了 LMS 滤波 器 的 标准 形式 , 它 是 线性 自 适应 滤波 的 重要 基础 。LMS 滤波 如 
的 实际 重要 性 在 于 它 的 两 个 独特 的 特性 : 


e 实现 简单 性 
© 模型 独立 性 ,因此 性 能 具有 和 鲁 磁性 


LMS 滤波 器 的 主要 限制 是 它 的 收 伍 速率 慢 ,这 歇 因 于 仅仅 使 用 一 阶 信息 。 
影响 IMS 滤波 器 收 敏 的 两 个 主要 因素 是 ; 步 长 参数 上 和 抽 头 输 人 向 量 相关 和 矩阵 家 的 特征 
i. HUES 5.4 节 给 出 的 统计 LMS 理论 ,这 些 因素 的 影响 可 总 结 如 下 : 


1)w 较 小 时 , 自 适应 速率 减 慢 , 它 等 效 于 LMS 滤波 器 有 长 的 “记忆 ”"。 因 此 , 自 适 应 后 平均 
额外 均 方 误差 较 小 ,这 是 因为 滤波 器 使 用 大 量 数据 估计 梯度 向 量 。 另 一 方面 , 当 y 较 
大 时 , 自 适 应 速率 相对 较 快 ,但 以 自 适 应 后 平均 额外 均 方 误差 的 增加 为 代价 。 在 这 种 情 
况 下 , 较 少 数据 进入 估 计 , 故 滤波 器 误差 性 能 恶化 。 因 此 ,参数 p 的 倒数 可 以 看 做 LMS 
滤波 器 的 记忆 。 


244 自 适应 滤波 器 原理 





2) 当 相关 和 矩 阵 及 KREE RAR, LMS 滤波 肉 的 额外 均 方 误差 主要 由 最 大 特征 值 决 
定 , 平 均 抽 头 权 向 量 E[w(n)] 的 收 合 时 间 则 受到 最 小 特征 值 的 限制 。 然 而 , 均 方 误差 
J(n) 的 收 合 速 率 受 特征 值 扩散 度 影 响 的 程度 小 十 ELWw(n)] 收 合 所 受 影响 的 程度 。 当 
特征 值 分 布 较 广 ( 即 当 抽 涉 权 向 基 的 相关 算 阵 病态 ) 时 ,LMS 滤波 哇 的 收 合 速 率 变 慢 。 
但 是 ,并 不 总 是 需要 如 此 ,因为 在 非 白 输入 条 件 下 LMS 滤 被 疮 的 收敛 特性 具有 方 癌 性 。 
这 个 特性 可 用 在 LMS 算法 的 初始 化 阶段 ,从 而 改善 了 收敛 过 程 。 当 然 ,要 使 之 成 为 可 
能 ,需要 某 些 先 验 知识 。 


对 于 中 等 长 度 和 较 大 长 度 M 的 LMS 滤波 器 , 均 方 收 合 的 步 长 参数 p 的 必要 条 件 定义 为 


2 
0z :一 一 一 一 
BMS on 


其 中 $。. 表 示 抽 头 输 人 功率 谱 密 度 的 最 大 值 。 RE, SR A M 较 小 时 ,将 设 有 一 
个 关于 u 的 具体 上 界 。 不 过 ,如 果 与 Ane( 这 里 Am 是 抽 头 输入 相关 矩阵 的 最 大 特征 值 ; 相 比 
4 BRD RATEZ 5.4 节 所 述 小 步 长 理论 中 的 “ 零 阶 和 解 "为 LMS 滤波 器 瞬 态 特性 提供 了 一 个 很 
好 的 描述 。 

在 第 5.10 节 中 ,我 们 使 用 基于 五 " 准则 的 确定 性 方法 证 明了 LMS 滤波 器 的 鲁 棒 人 性 。 这 个 
方法 集中 关注 能 量 增 益 的 概念 , 它 定 义 为 滤波 器 输出 产生 的 误差 能 量 与 滤波 器 输入 端 总 干扰 
能 量 之 比 。 令 人 惊奇 的 是 , 自 适应 滤波 器 的 能 量 增 益 可 能 等 于 1, 而 且 LMS 滤波 器 可 做 到 这 一 
点 。 因 此 应 当 考虑 使 LMS 滤波 器 的 最 优 性 与 8” 准则 (而 不 是 与 均 方 误差 准则 ) 相 一 致 。 

最 后 值得 一 所 的 是 ,在 比较 LMS 滤波 器 与 非 自 适应 滤波 器 的 均 方 误差 性 能 时 ,入 们 特别 
关注 参考 框架 的 选择 问题 。 在 LMS 滤波 器 的 大 多 数 应 用 中 , 维 纳 滤波 器 的 确 适 合作 为 非 自 适 
应 的 参考 框架 。 也 就 是 说 ,与 LMS 滤波 器 具有 相同 抽 头 延 时 线 结构 的 维 纳 滤波 器 ,为 LMS È 
波 器 性 能 提供 了 有 意义 的 界 。 然 而 ,正如 第 240 页 的 注释 所 指出 的 那样 ,LMS 滤波 器 很 可 能 优 
于 对 应 的 维 纳 滤 波 器 。 例 如 ,在 对 窄带 于 扰 信 号 分 量 进行 自 适应 噪声 消除 时 ,挖掘 LMS 滤波 
器 抽 头 权 向 量 与 和 干扰 信和 叶 之 间 的 强 耦 合 ,将 导致 LMS 滤波 器 的 均 方 误差 可 能 大 大 低 于 对 应 的 
维 纳 滤波 器 的 均 方 误差 。 





5.14 习题 


1,LMS 滤波 器 是 一 个 0(M) 算法 ,其 中 型 是 横向 滤波 器 的 长 度 。 试 证 明 这 个 结论 。 

2.LMS 竺 法 用 来 实现 双 输 入 、 单 权 值 自 适应 噪声 消除 器 。 建 立 一 个 方程 来 定义 该 算法 的 运算 。 

3. 第 5.3 节 的 应 用 2 所 讨论 的 基于 LMS 的 自 适应 反 卷 积 过 程 应 用 于 前 向 时 间 自 适应 ( 即 前 向 预 
测 )。 试 对 于 后 向 时 间 自 适应 ( 即 后 向 预测 ) 重 新 推导 这 个 过 程 。 

4. 考 虚 式 (5.44) 的 含 噪 正弦 信号 应 用 于 图 5.9 的 自 适 应 谱 线 增强 器 。 试 证 明 所 产生 的 输出 
[ 记 为 y(n)] 由 式 (5.45) 和 式 (5. 御 ) 所 定义 。 

5. 某 一 未 知 实 值 系统 的 的 零 均 值 输出 atn) 用 多 重 线 性 回归 模型 表示 为 


d(n) = wou(n) + v(m) 


其 中 w, 是 模型 的 (未 知 ) 参 数 向 量 ,u(n) 是 输入 向 量 , v(n) 是 零 均值 ,方差 为 o HARE 
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PEP P5.1 的 框 赂 给 出 林 知 系统 的 自 适 应 模型 , 共 中 自 适 应 横向 滤波 发 由 改进 的 LMS A 
法 控制 。 特 别 地 ,横向 于波 占 的 抽 头 权 同 量 wtn) 的 选择 使 得 如 下 性 能 指标 
Tw, K} = Fle**(n)] 
最 小 化 ,其 中 下 =1,2,3,...。 
(a) 使 用 骨 态 梯度 向 量 ,让 明 相 应 机 头 权 向 量 估 计 新 的 自 适 应 原则 为 
Wn +1) = Hn) + Kulan la) 
其 中 w 是 步 长 参数 ,而 
e(n) = d(n) 一 到 人 am 
为 估计 误差 。 
(b) 假设 加权 误差 辣 量 
e(n) =w, — WIA) 
AB vn) Sun) dha. HEH 
Ele(a + 1)] = (1 - aK(2K - EvK “(n)JRIE[e(n)] 
其 中 OR ei A a un REE 
(co) 证 明 如 果 步 长 参数 u 满足 如 下 条 件 


2 
Dayu 


| KOK — Dal a Ama 
其 中 Am EIERE R 的 最 大 特征 值 , 则 (a) 中 描述 的 改进 的 LMS Be EA 
(d) 对 于 天 =1, 证 明 (&),(B) 和 {ec} 的 结果 退化 为 相应 的 传统 LMS 算法 的 解 。 


RMR SHE RR 





PPS... 未 知 系统 的 自 适 应 模型 


6.(a) 令 m(n) 表 示 LMS 算法 在 迁 代 次 数 为 n 时 的 权 向 量 均值 , 即 
m(n) = ELW(n)] 


利用 第 5.4 节 的 小 步 长 理论 证 明 
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mt = (I~ uR)'{m0) ~ m(oc)] + m{co) 
其 中 ye 是 步 长 参数 ,R 是 输入 种 量 的 相关 短 阵 ,m(0) 和 mt % ) 分 别 表示 权 身 量 均 值 的 初 
始 值 和 最 终 值 。 
(b) 证 明 : 为 了 满足 均值 mtn) 收 分 , 步 长 参数 p 必须 满足 如 下 条 件 





0< p 
7 i . 和 nas 


其 中 A EEEE RARE 
TABIEN OFTEN o 的 白 噪 声 序 列 作为 LMS 算法 的 输入 ， 试 给 出 
(a) 在 均 方 意义 上 算法 收 伍 的 条 件 , 并 计算 
(b) 额外 均 方 误差 
8. ya leaky) LMS 算法。 考虑 时 变 代价 函数 
Fn) = ley? + alwi 
共 中 wna SERS THEA ee AT RE 为 常数 。 通 常 
e(n) = d€n)—w'(njuln) 
AE d BOY wun) BH Ae. FENG LMS 算法 中 ,代价 函数 相对 寺 权 问 量 
(an) 最 小 化 。 
(a) 证 明 抽 头 权 向 量 w(za) 的 更 新 表达 式 为 
Win +1) = (1 - pa)w(n) + pa(nje*(n) 
(b) 利用 小 步 长 理论 ,证 明 
lim ElW(n)] = {R + aI) 'p 
其 中 及 是 抽 头 输入 向 量 的 相关 矩阵 ,p 为 抽 头 输入 问 量 与 期 望 响 应 的 互相 关 问 量 。 并 
说 明 该 算法 在 均值 意义 上 收敛 的 的 条 件 是 什么 ? 
Co) 如 何 眉 改 和 传统 LMS 算法 中 的 抽 头 权 向 量 方 可 得 到 {a) 中 的 等 效 结 果 ? 
9. 考 虑 在 低 信 噪 比 条 件 下 使 用 LMS 算法 进行 自 适应 谱 线 增强 。 抽 涉 输入 何 量 的 相关 矩阵 定 
RA 
R= el 
其 中 工 是 单位 阵 。 试 证 明 加 权 误 差 相关 和 矩阵 K(n) 的 稳 态 值 为 


K(oo) ~ shal 


AP y 是 步 长 参数 , Ja 是 最 小 均 方 误差 ,日 可 以 假设 自 适 应 横向 普 波 器 的 抽 头 数 较 多 。 
10. 从 式 (5.58) 的 小 步 长 出 发 ,证 明 
RK,(n) + Ko(n)R = 4 ER 
其 中 
J), = Ele(njet(n ~ 1] {= 0,1,2, 


a 
R' = Ejani- H) i=0,1,2,... 


[由 于 求 和 项 RK, (n) + Ko(n)R 的 特殊 结构 ,涉及 该 求 和 项 的 方程 通常 称 为 李 雅 普 诺 夫 方 
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2 ( Lyapunov equation} « | 
11.4 LMS 滤波 器 的 自然 模式 n Cr ROR AE, Ed ERGS DAR. 82) EX. 
了 2. 利用 第 5.4 DIE KEE ,做 如 下 工作 : 

(a) WEHE o ) 独 立 于 输入 信号 , 即 


1 
Shoo) > p BM dan 


(hb) 推导 失调 公式 


而 不 必 检 查 相关 咎 阵 及 的 对 角 化 - 
好 .各 适应 算法 的 站 化 速率 可 用 权 值 误差 问 量 定义 为 
Elfie(a + 1)] 
~ Eleaf] 
试 证 明 ,对 于 小 的 a 值 和 平稳 输入 ,LMS 算法 的 收敛 速率 约 等 于 
€(n) x (1~ poi? n Bes) 
这 里 ,假设 抽 头 输入 向 量 uCn) 的 相关 和 矩阵 近似 等 于 oD 
14.(a) LMS 算法 通常 称 为 随机 梯度 算法 。 然 而 ,检查 第 5.9 be RoR Hae 
5.27 利 图 5.28 可 以 发 现 ,该 处 显示 的 轨迹 图 都 是 意义 明确 的 ( 即 LMS 算法 产生 的 参数 人 
计 都 是 确定 性 的 )。 这 些 表 述 就 其 方法 而 言 都 是 正确 的 ,如 何 调和 它们 的 矛盾 吡 ? 
(hb) 假设 均值 为 零 .方差 为 o 的 白 噪声 加 到 第 5.9 莫 正 弦 曲 线 过 程 的 示例 中 ,那么 该 示例 
的 结果 如 何 修改 ? 
4. 自 适应 小 波 器 的 直通 连接 发 生 在 基 些 应 用 中 { 如 回声 消除 )。 考 虑 图 蕊 .2, 它 给 出 包 合 一 
对 LMS 滤波 器 (Ho,2000) 的 一 个 简单 的 直通 结构 。 输 入 向 量 ule ERT ae. 
而 且 由 滤波 器 1 产生 的 误差 箔 号 e (na) 作 为 滤波 器 I[ 的 期 望 响应 。 试 做 如 下 工作 : 


dir} 


Cin} = 








香 适 虚 滤 波 器 1 
n 


图 BE5.2 两 个 LMS 滤波 器 的 直通 结构 
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(a) 用 公式 表示 图 中 直通 结构 的 更 新 方程 
(b) 证 明 若 两 个 自 适 应 滤波 髓 各 自在 均 方 意义 上 收 合 , 则 这 个 直通 结构 系统 在 均 方 意义 上 
WBE 
16. 在 本 章 中 所 介绍 的 有 关 LMS 滤波 器 的 许多 讨论 中 ,我 们 把 注意 力 集中 于 固定 步 长 参数 的 
使 用 上 。 在 这 个 问题 中 ,我 们 考 囊 步 长 是 白 适 应 控制 了 的 自 适 应 LMS 滤波 器 。 这 种 改进 
的 动因 是 为 了 改善 LMS 滤波 器 的 收敛 性 。 
(a) 定义 梯度 向量 





aw (n)} 
as dln) 
其 中 部 (m 是 在 时 变 步 长 参数 p(n) K LMS 滤波 器 估计 的 权 值 向 量 。 从 也 态 代价 商 数 
出 发 
Hn) = 5 en 
证 明 
y(n) = (L~ un — 1u” {n — Lyin- 1) + un - De*(n — 1) 


其 中 eln) E LMS BR AMRE ES , 工 为 单位 阵 。 
(b) 根据 如 下 一 对 更 新 方程 
Hn + 1) = Hn) + pm)utn)ertn) 
和 
u(n) = pln — 1) + pefmY (WO 
其 中 Y(n) 在 (a) 中 定义 ,p 是 一 个 用 来 控制 w(n) 自 适应 的 小 正常 数 ;试用 公式 表示 时 
变 步 长 的 LMS 算法 。 
17. 从 式 (5.144) 出 发 ,证 明 如果 p lel) 1 加 到 式 子 的 左边 ,不 等 式 仍 成 立 ; 并 从 此 推 
导 式 (5.145) 更 紧 致 的 不 等 式 表示 。 
18. 某 一 由 两 个 正弦 输入 组 成 的 信号 表示 为 
utn) = Avcos(won) + A coslo) 
该 信号 加 到 一 个 LMS 滤波 器 上 。 使 用 第 5.11 节 描 述 的 转移 函数 方法 ,证明 这 个 LMS 滤波 
器 起 到 两 个 陷 波 滤波 器 之 和 的 作用 。 
19. 在 第 5.8 节 使 用 LMS 算法 进行 自 适 应 波束 形成 的 计算 机 实验 中 ,给 出 了 结果 ,但 没有 说 明 
LMS 算 法 是 如 何 应 用 的 。 从 式 (2.77) 的 代价 函数 出 发 , 试 推导 该 实验 中 定义 自 适应 波 东 形 
成 器 权 值 调整 的 递归 关系 。 


计算 机 实验 
20. 在 包含 AR 过 程 产生 的 计算 机 实验 中 ,有 时 没有 足够 的 时 间 使 瞬 态 消失 。 这 个 实验 的 目的 
是 为 了 估计 这 种 瞬 态 对 于 LMS 算法 的 影响 。 因 此 ,考虑 第 5.6 节 中 描述 的 一 阶 AR 过 程 


O LMS eae Me KB BN RE ARS CRC Kmminsky, 1982; Mathews & Xie, 1993; Douglas, 
1995; Qin & Bellanger, 1996; Kuzminsky, 1997), TH 16 EPA Kuzminaky(1997) 的 方案 。 
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zfna)、 这 个 过 程 的 参数 如 下 : 
AR 参数 :aa =0.99; 
AR 过 程 方差 :o = 1.00; 
RENo = 0.02 


对 于 ln <100, AiR NSM AEP , EMERE un). WH a(n PER 
PE BiG SS a A a ee EB a =0.05 LMS 算法 的 基础 上 。 特别 
地 ,通过 预测 器 输出 平方 100 次 独立 实验 结果 的 集 平 均 ,可 画 出 它 与 时 间 aClens< 100) 
SAMS R., 不同 于 LMS 算法 的 正规 运算 ,这 样 计算 出 来 的 学 习 曲 线 应 当 从 原点 
出 发 达到 最 高 点 ,然后 衰减 到 欧 态 位 。 试 解释 这 个 现象 的 原因 。 

21. 考 虚 AR 过 程 a(n) ,其 差分 方程 为 


ula) = -aufn — 1) — amia — 2) + e(n) 
其 中 "mn) 是 零 均 值 ,方差 为 o 的 加 性 白 噪声 。AR 参数 a 和 a, 都 是 实数 
a, = 0.1 
a = ~ O08 


(a) 计算 噪声 方差 a ,使 得 AR 过 程 n(n RATA L APE un RIL. 
(b) HERA a(n) KEX M=2 的 LMS 滤波 器 用 来 估计 未 知 的 AR 参数 a, 和 a,, 步 长 
参数 p=0.05, 证 实 第 5.4 节 小 步 长 理论 应 用 中 使 用 这 个 设计 值 是 正确 的 。 
(o) 对 于 LMS 滤波 器 的 一 种 实现 ,计算 预测 误差 
fin) = ula) — uta) 


以 及 两 个 抽 头 权 值 误差 
ala) = -a — Vn) 
和 
s[n) = —a, 一 Wa{n) 
并 利用 Sn) ,se Cn) 和 es(n) 的 功率 谱 曲线 ,证 明 fn) RRA HRE, T e (n) A 
e2(n) 表 现 为 低 通 过 程 。 
(d) 在 滤波 器 100 次 独立 实验 的 基础 上 ,通过 平均 预测 误差 f(n) 的 平方 值 ,计算 LMS 滤波 
器 的 集 平 均 学 习 曲 线 。 
(e) 应 由 第 5.4 节 的 小 步 长 统计 理论 ,计算 LMS 滤波 器 的 理论 学 习 有 曲线 ,并 将 这 个 结果 与 
(d) 的 结果 比较 。 


22. 考 虑 一 个 线性 通信 信道 ,其 转移 函数 采用 下 列 三 种 可 能 形式 之 一 : 
(i) H(z) = 0.25 + x! + 02527 
(DA(z) = 0.25 + xt — 02527 
(ili)H(z) = 0.25 + z ! + 0.2577 
对 输入 x, 做 出 响应 的 信道 输出 定义 为 
u(n) = 之 各 如- + y(n) 
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其 中 h 是 信道 脉冲 响应 ,y(n) 是 零 均值 方差 为 oi =0.01 的 加 性 高 斯 白 噪声 。 信道 的 输 

人 由 具有 x, = +1 的 伯 努 利 {Bemoul 由 序列 组 成 。 

这 个 实验 的 生 的 惰 设 计 一 个 白 适 应 专 衡 跨 , 该 岂 衡 占 利 用 步 长 参数 o = 0.001 的 LMS 算法 

来 训练 。 在 结构 方面 ,该 均衡 器 由 具有 21 个 抽 头 的 横 回 滤波 带 构 成 。 信 和 道 的 输入 的 延迟 

FY CED x,_。) 被 加 到 均衡 器 作为 期 望 响应 。 对 于 j. 述 所 列 出 的 每 -种 可 能 的 信道 传输 函 

数 ,做 如 下 工作 : 

(a) 确定 延迟 A 的 最 优 值 使 得 均衡 器 输出 均 方 误 共 最 小 : 

(b) 对 (a) 中 所 确定 的 最 优 延 迟 A, 在 实验 的 100 次 独立 试验 的 基础 上 ,通过 误 甘 信号 均 方 
值 的 集 平均 , 画 出 均衡 器 的 学 习 曲 线 。 

23, 在 第 5.4 节 中 ,我 们 介绍 了 LMS 滤波 器 的 小 步 长 理论 。 本 习题 的 目的 是 研究 当 小 步 长 假说 
不 满足 时 ,应 用 这 个 理论 会 发 后 什么 情况 。 重复 图 5.18 关于 一 阶 自 适 庶 预测 器 的 学 习 则 
线 的 实验 ,但 这 一 次 使 用 如 下 步 长 参数 :0.001, 0.003, 0.01, 0.03, 0.1, 0.3, 1, 3; 并 对 所 
得 到 的 结果 进行 讨论 。 

对 4, 当 目 标 信 噪 比 10 dB, Fata rs th 40 出 、 步 长 参数 上 = 10 时 ,重复 第 5.8 节 关 于 MVDR 波 
东 形 成 的 计算 机 实验 。 如 前 ,干扰 的 人 射 角 为 

Pret = Sin (0) 
PRAT IX RFR ATS a BEE RS a LD Od RA ATO? 特 
别 地 ,对 于 如 下 目标 到 达 角 : 
(i) Page = sin” ( - 0.15) 
(ii) fu = sin ' ( - 0.10) 
(iti) ue = 2in "(~ 0.05) 
说 明 你 的 结果 。 
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在 第 5 章 所 研究 的 LMS 滤波 器 标准 形式 中 ,n+ 1 次 迭代 中 应 用 于 让 波 器 抽 头 权 向 量 的 失 
调包 含 以 下 三 项 : 

9 步 长 参数 x , 它 在 设计 者 控制 之 下 。 

e 抽 头 输入 向 量 n(n) , 它 出 信息 源 提供 ， 

e 实数 据 的 估计 误差 efm) 或 者 复数 据 的 知 计 误差 e” (n) Ci n 次 先 代 计算 的 结果 。 
失调 直接 与 抽 头 输入 向 量 utn) 成 正比 。 因 此 , 当 a(n) 较 大 时 ,LMS 滤波 央 过 到 梯度 噪声 放大 
问题 。 为 了 克服 这 个 困难 ,可 使 用 归 一 化 LMS 滤波 器 加 。 特 别 地 ,n +1 次 选 代 时 抽 头 权 向 量 
的 失调 相对 于 ORR ATK BLA lt n(n) 的 平方 欧 氏 范 数 进行 * 归 一 化 ”。 

本 章 讨 论 归 一 化 LMS 滤波 器 及 其 在 回声 消除 中 的 应 用 。 本 章 也 讨论 了 仿 射 投影 自 适 应 
湾流 器 , 它 可 看 做 归 一 化 LMS 滤波 器 的 推广 。 


6.1 归 一 化 LMS 滤波 器 作为 约束 最 优化 问题 的 解 


就 结构 而 言 , 归 一 化 LMS 滤波 器 与 标准 LMS 滤波 器 完全 一 样 ,如 图 6.1 框图 所 了 未。 二 者 
都 是 横向 滤波 器 ,其 不 同 仅仅 在 于 权 值 控制 髓 的 机 理 。 霸 x 1 抽 涉 输入 向 量 n(n) 产 生 输 出 
y(n) ,将 与 期 望 响 应 a(n) 相 减 得 到 估计 误差 ,或 谋 差 信号 etn)。 在 对 输入 向 量 由 ma 和 误差 
信和 号 en) 组 合作 用 的 响应 中 , 权 值 控制 器 将 权 值 调整 应 用 到 横向 滤波 器 。 在 大 量 迁 代 中 , 反 
复 调整 滤波 内 的 权 向 量 , 直 到 滤波 器 达到 稳定 状态 。 








图 6.1 自 适应 横向 滤波 器 框图 
我 们 可 把 归 一 化 LMS 滤波 器 看 做 对 普通 LMS 滤波 器 所 做 的 性 能 改进 (见习 题 1)。 男 外 ， 





T 称 为 归 一 化 LMS 算法 的 随机 梯度 算法 ,由 Nagumo 和 Nodal 1967) 22 Albert 和 Ganhner(1907) 分 别 独 立 提 出 。Nagurw 
和 Noda 对 于 这 个 算法 没有 性 用 特别 的 和 名字, 而 Albert 和 Gardner 将 它 称 为 “ 快 旦 腑 的 回 色 "方案 。Bitmead 和 Ander- 
sonf 19808, b WHE E 1 ak“ —- 4b LMS 算法 "。 
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我 们 也 可 以 按 其 自身 导出 归 一 化 LMS 滤波 器 ;这 里 ,我 们 采用 后 者 ,因为 这 样 叫 更 深入 了 解 该 
滤波 器 如 何 运行 ， 

归 一 化 LMS 滤波 莫 是 最 小 化 干扰 原理 (principle of minimal disturbance) 的 一 种 表现 形式 ,这 
个 原理 可 表述 如 下 : 

从 一 次 于 代 到 下 一 次 中 , 自 适 应 滤波 器 的 权 向 量 应 当 以 最 小 方式 改变 MALS HOE 

波 器 输出 所 施加 的 约束 。 

为 了 用 数学 术语 考虑 这 个 原理 , 令 w(m) 表 示 第 n 次 迭代 滤波 器 旧 的 权 身 量 ,w(n + 1) 表 示 
第 n+ 1 次 进 代 滤 波 器 新 的 权 向 量 。 则 可 把 站 一 化 LMS Be ee EI AIK WAR alae 
给 定 抽 头 输入 向 量 wz} 和 目标 响应 4(n) ,确定 更 新 的 抽 头 向 量 w( a + 1), 以 使 如 下 增 量 


6w(n +4) = wn+1)— win} (6.1) 
的 欧 氏 范 数 最 小 化 ,并 受制 于 以 下 约束 条 件 
w7(n + un) = d(n) (6.2) 


aT RR AR FA A SB SE HE (method of Lagrange multiplier) ,对 于 复 
数据 的 一 般 情 况 ,该 方法 可 参见 附录 C。 根 据 这 个 方法 ,目前 所 考 虚 问题 的 代价 函数 为 
Jin) = êl + 1))? + RelA*(d(n) — Wn + Ta] (6.3) 
其 中 ,4 HS RA RS, * RBI Rel ] 表 示 取 实 部 运算 ,约束 对 代价 函数 的 贡献 
是 实 值 的 ; © 6w(n + 1) ||? 表示 欧式 范 数 的 平方 运算 ,其 结果 也 是 实 值 的 。 从 而 ,代价 函数 
Jin) 是 实 值 的 二 次 函数 , 且 可 表示 为 
Jin) = (wot + 1) 一 Wn) Wn +1) 一 Wn)) + RefA*(d(n) — WACn + 1)u(n))] (6.4) 
为 了 寻找 使 代价 函数 为 最 小 的 最 优 更 新 权 疝 量 ,及 用 如 下 步 又 ， 
1) 代价 函数 J(n) 对 Ww{n+1) 求 性 。 则 根据 实 函 数 对 复 值 向 量 的 求 导 规 则 ( 见 附 录 B), 
可 得 
E adin) 
ow*(n + 1) 
令 其 为 夫 , 即 得 最 优 解 为 





= 2(W(n + 1) 一 W(n)) 一 A*u(n) 


Gater +5 Atu(n) (6,5) 


2) 将 第 一 步 的 结果 代 人 式 (5.2) ,求解 未 知 滋 于 X*。 首 先 写 出 


d(n) = Wen + Tu(n) 
1 H 
= (sa 十 1 xtu(n) | u(r) 
= Wanjatm) + 5 Au (aula) 
= Wn nn) + FAC) 


然后 对 和 求解 ,得 
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A (6.6) 
acre) 
其 中 
efn) = d(n) ~ w%(n)u(z) (6.7) 
是 误差 信号 。 


3) 结合 第 一 步 和 第 二 步 的 结果 ,以 表示 增 量变 化 的 最 优 值 。 即 由 式 (6.5) 和 式 (6.6) 可 得 
win + 1) = win +1) - wa) 


a(nje*(n) oe 


1 
T hap 
为 了 对 一 次 先 代 到 下 一 次 选 代 抽 头 权 向 量 的 增 量变 化 进行 控制 而 不 改变 向 量 的 方向 , 引 
人 一 个 正 的 实数 标 度 因 了 疡 。 即 定义 该 增 量 为 
bwin +1) = win t+ 1) - win) 
= emer eee 


等 价 地 ,我 们 写 出 


win + 1) = W(n) + e*(n) (6.10) 


wane" 


实际 上 ,这 就 是 计算 归 一 化 LMS 算法 Mx 1 阶 抽 头 权 向 量 所 期 望 的 递归 结果 。 式 (6.10) 清 楚 
地 表明 使 用 “ 归 一 化 "的 原因 : 生 积 向 量 wn)e" (Co) THAAD un) APE RE 
数 进行 了 归 一 化 。 

比较 归 一 化 LMS 污 波 器 的 递归 表达 式 (46.10) 与 传统 LMS 滤波 器 的 递归 表达 式 人 ,8 ,可 
知 如 下 观测 结果 : 


o 归 一 化 LMS 滤波 器 的 自 适应 常数 z 是 无 量 纲 的 ,而 LMS 滤波 器 的 自 适应 常数 # 有 反问 
功率 的 量 纲 。 

oi 

= 

Juco)? 
我 们 可 以 把 归 一 化 LMS 滤波 器 看 做 时 变 步 长 参数 的 LMS 滤波 器 。 

e 更 重要 的 是 ,无 论 对 于 不 相关 数据 还 是 相关 数据 , 妇 一 化 LMS 算法 要 比 标准 LMS 算法 
可 能 呈现 更 快 的 收敛 速度 (Nagamo & Noda, 1967; Douglas & Meng,1994)。 


在 克服 LMS 滤波 器 梯度 噪声 影响 方面 ,人 们 关心 的 问题 是 归 一 化 LMS 算法 自身 所 引起 的 
问题 , 即 当 抽 头 输入 向 量 un) 较 小 时 , 椒 得 不 用 较 小 的 平方 范 数 ula) I? BRA a, AA a 
能 出 现 数值 计算 困难 。 为 了 克服 这 个 问题 ,将 式 (6.10) 递 归 表 达 式 修改 为 

he i 
Fin +1) = win) + 54 lula? laa? u(saje*{ rn} (6.12) 


其 中 5>0。 当 =0 时 , 式 (6, 芝 ) 蛮 为 式 (6.10) 的 形式 。 


p(n) = (6.11) 
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基于 式 (6.10) 的 归 一 化 LMS 滤波 器 (算法 ) 总 结 在 表 6.,1 中 。 表 中 的 归 一 化 步 长 参数 忆 
的 三 界 将 在 下 -一 节 导 出 。 
#6.1 归 一 化 MS 算法 小 结 
ERM = 抽 头 数 ( 即 滤波 器 长 度 ) 
a= Gig MWR 


E[l etelt] ia) 
EL te€ntl* | 





Qca? 


其 中 
ELle(a) l? = REGS He 
Ellu(n)}l?_ = Ata Se 
Bin) = Bie 
初始 化 : 
如 果 知 道 抽 头 权 向 基 win) 的 先 答 知识 , 则 用 它 米 为 w(t0) 选 择 适 当 的 值 ; 闸 则 令 wl) =0 
数据 : 
(a) 给 定 的 :u(rn) = 第 rn 时 间 导 x1 抽 头 输 入 州 量 
dln) = 第 = 时 间 步 的 期 望 响应 
(b>) 要 计算 的 :w(n+1l) = 第 n+1 步 抽 头 权 向 量 居 计 
计算 : 
对 n=0,1,2,... ;计算 
dn) = d(ad—w" (non) 





wiatlyawlnd+ I 5 prune” Cm) 


6.2 归 一 化 LMS 滤波 器 的 稳定 性 


假设 负责 产生 期 望 响应 d(n) 的 物理 机 制 由 式 (5.138) 多 重 回 归 模 型 控制 。 为 表示 方便 起 
见 ,将 其 重 写 如 下 
d(n} = wala) + e(n) (6.13) 
式 中 ,w 是 模型 的 未 知 参 数 向 量 ,y(n) 是 加 性 干扰 。 归 一 化 LMS oe ae SB HK A A 
量 w(n) 是 对 的 估计 。 它 们 之 间 的 失 配 用 加 权 误 益 向 量 
e(n) = w— Wr) 


来 衡量 。 于 是 ,从 w 中 减 去 式 46.10) ,得 到 


e(n + 1) = en) Eunet) (6.14) 


llu(n) 
正如 前 面 所 指出 的 , 妇 一 化 LMS 滤波 器 的 基本 思想 就 是 对 抽 头 权 向 量 w(m + 1) 强 加 约束 的 条 
件 下 对 n 次 渤 代 型 n + 1 次 迭代 的 抽 头 权 向 量 的 增 基 变化 Own + 1) 最 小 化 。 按 照 这 个 思想 ， 
一 种 合乎 逻辑 的 做 法 是 :以 均 方 偏差 [ 见 式 (5.84)] 
B(n) = Elle(n)] (6.15) 

为 基础 ,进行 归 一 化 滤波 器 的 稳定 性 分 析 。 对 式 (6.14) 两 边 取 平 方 欧 氏 范 数 ,而 且 各 项 重 排 后 
取 期 望 值 , 即 得 

a(n + 1) -gtn) = al etr) | - 2 [Re SAC) | (6.16) 


aC)? ju(n)|/? 
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其 中 z,(n) 是 无 干扰 误差 信号 ,定义 为 
Eqa) = (w — (n) yy" u( 7} 
= ¢"(nyu(n) 

根据 式 (6.16) 容 易 看 出 , 均 方 储 差 和 (mn) 随 先 代 次 数 n 指数 减 小 ,因此 归 一 化 LMS 滤波 器 在 均 
方 误差 意义 下 是 稳定 的 ( 即 收敛 过 程 是 单调 的 ), 只 要 归 .化 步 长 参数 的 界 为 
Re{E[é.(nje*(n}/luatn)l)} 

E[l ua] 

从 式 (6.18) 也 容易 发 现 , 均 方 偏差 2(n) 的 最 大 值 在 此 处 定义 区 间 的 中 点 得 到 。 央 此 ,最 
优 步 长 参数 为 


(6.17) 








Qi <2 (6.18) 


a, = RAEL emeta) lt) ll 
7 E[le(n)}'/)u(n)[?] 





(6,19) 


6.2.1 特殊 情况 :实数 据 


对 于 实数 据 的 情况 (例如 ,在 下 一 菩 所 考虑 的 回声 消除 器 中 ), 式 (6.10) 的 妇 一 化 LMS 算 
法 取 如 下 形式 


win + 1) 一 win) + one a(n jets) (6.20) 


pon 
类 似 地 , 式 (6.19) 中 的 最 优 步 长 变 为 
~ _ EE drje(x)/fucr)?] 
Fot T Ejen] 
为 了 使 最 优 步 长 计算 易于 进行 , 现 引 入 三 个 假设 : 
假设 1: 从 一 次 选 代 到 下 一 次 移 代 的 输入 信号 能 量 上 Kn) 上 ?的 波动 足够 小 以 满足 近似 


(6.21) 








到 | ~ Teme] (6.22) 
和 
2 Fle 
leone ars a 
相应 地 , 式 (6.21) 近 似 为 
Hop ~ ee (6.24) 


假设 2: 无 干扰 误差 信号 & (mn) 与 期 望 响 应 d(n) 的 多 重 回归 模型 干扰 (噪声 )v(n) 无 关 。 


回顾 第 4 章 ,注意 到 于 扰 误 差 信和 号 e(n) 与 无 干扰 误差 信号 (nn) 有 关 [ 见 式 (5.141)] 
e(n) = én) + vin) (6.25) 


256 if wok Be 





48 FAK (6.25) 36-51 FAR 2, 可 得 
Elé,(aje(n)| = EEC) (En) + p(n))] 





= £[&()] (6:26) 
将 式 (6.26) 代 入 式 (6.24), 可 进一步 简化 最 优 步 长 公式 为 
_ En] 
Hop 一 Ele*tn)] (6.27) 

















与 干扰 误差 信号 e(n) 不 同 ,无 干扰 误差 信号 & (nh) EB, AUR BM AE 
服 计算 困难 ,我 们 引信 最 后 一 个 假设 ， 
假设 3: 输 入 信号 u(rn) 的 谱 内 容 在 比 加 权 误 差 向 量 E(n) 每 一 个 分 量 所 频频 带 更 宽 的 频 
带 上 基本 上 是 平坦 的 ,因此 证 实 了 如 下 近似 
E[l] = Elle ua) 
= Ejeta Elu) ] (6.28) 
= D(a) Elun) ] 
EPZ (n) AIFA., EA AGW SALES w(n) 而 不 是 抽 头 输入 向 量 a()。 


假设 3 是 对 LMS 滤波 器 低 通 滤波 作用 的 表述 。 因 此 ,如 在 式 (6.26) 中 使 用 式 (6.28), 则 可 
得 近似 式 
~ _ &njElw(n)] 
non Ejen) 
FA (6.29) FE MAY fi ATES RSE RR LEF FER: OF SEIN SELLE AA T ERIE 
器 长 度 和 语音 和 输 人 情况 下 , 式 146.29) 握 供 了 对 HY) BAF HEL {EL Mader et al. ,2000)。 


6.3 回声 消除 中 的 步 长 控制 


几乎 所 有 的 谈话 都 是 在 存在 回声 的 情况 下 进行 的 。 是 否 可 觉察 到 或 者 可 区 分 ,取决 于 所 
涉及 的 时 延 。 如 果 语 音 与 其 回声 之 间 的 时 延 较 短 ,回声 是 察觉 不 到 的 ,但 可 理解 为 频谱 失真 
( 称 为 反射 ) 的 一 种 形式 。 反 之 ,如 果 语 音 与 其 回声 之 间 的 时 延 较 长 ,超过 儿 十 毫秒 ,回声 就 可 
单独 觉察 到 。 

通信 环境 不 可 避免 地 受到 声音 回 波 的 干扰 , 它 包含 如 下 情况 (Sondhi & Bekey, 1982; Mader 
et al. ,2000; Breining et al. ,2000): 

电话 电路 :在 给 定 的 地 理 区 域 , 每 一 电话 机 都 与 中 心 局 通过 两 条 线 ( 称 为 用 户 环 路 ) 相 连 ， 
以 便 为 通话 者 提供 通信 服务 。 然 而, 当 电话 线路 超过 35 公里 时 , 在 不 同 的 通信 方向 使 用 人 不同 
的 线路 是 必要 的 。 因 此 ,要 有 装置 完成 两 线 到 四 线 的 转换 ,这 通过 混合 变换 器 ( 即 具 有 三 个 端 
口 的 桥 型 电路 ) 来 实现 。 当 桥 式 电路 平衡 得 不 好 时 , 输 人 端口 与 输出 端口 之 间 存 在 耦合 ,从 而 
引起 回声 。 

免 提 电话 :使 用 免 提 电 话 时 ,我 们 经 常 发 现 扬声器 和 麦克 风 彼 此 的 拭 离 司 会 议 电 视 环境 一 
样 。 在 这 种 情况 下 , 才 克 风 不 仅 得 到 扬声器 发 出 的 语音 信和 号, 而且 也 得 到 经 机 壳 反 射 获得 得 的 


(6.29) 
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回 波 估 叶 。 结 果 ,回声 电路 可 能 不 稳定 而 产生 所 谓 “* 哺 叫 "市 。 此 外 ,该 系统 的 用 户 也 困 为 听 汉 
经 系统 环绕 -往返 时 间 而 延迟 了 的 他 们 自己 的 声音 而 感到 烦人 以。 

为 了 克服 这 种 通信 环境 下 存在 国 声 所 造成 的 烦恼 ,通常 的 做 法 是 使 用 上 自 适 应 回声 消除 器 
(EC, echo canceller)。 在 电话 电路 中 ,无 论 距 离 有 多 远 , 自 适应 回声 消除 内 可 以 使 通话 者 之 闻 
人 免 受 回声 影响 。 在 免 提 电话 中 , 哺 叫 声音 和 说 话 者 自己 的 延迟 声音 都 可 以 景 小 化 。 

回声 消除 的 基本 原理 趾 概 括 如 下 : 

FERRE REP FMA PAS PRAMS A 

实际 上 ,回声 消除 器 是 第 5.3 PRR Ree. OS A Be, Ae 
图 6.2。 尼 属于 人 免 提 电话 环境 (Mader et al. ,2000). AFA H AT EB RB CEE 

© if tk-PL 50-2 A LEM, loudspeaker-enclosure-microphone) 

+ 回声 消除 器 (EC) 

远 端 说 话 者 的 信号 [用 u(n) 表 示 ] 通 过 扬声器 发 出 ,被 玫 克 风 接 收 ,而 且 与 LEM 的 脉冲 响应 卷 
积 产生 一 个 输出 [用 d(n) 表 示 ]。 由 于 wu(n) 被 周围 环境 反射 ,信号 2(5) 受 到 回声 的 污染 。 

回声 消除 器 包含 两 部 分 : (1) 横 向 滤波 器 ; 亿 ) 自 适应 和 步 长 控制 器 。 横 向 滤波 器 用 脉冲 响 
应 wtn) 与 远 端 说 话 者 信号 u{n) 卷 积 得 到 回声 估计 ,并 用 y(n) 表 示 该 佑 值 。 就 所 关心 的 回 
声 消 除 器 而 言 , 老 克 风 输 出 组 成 了 “期 望 响应 ”。 从 其 输出 dn) PRR aE A PE AR 
AT” y(n), BPH Re aS eln) Wini S wtn) 与 etn) 起 到 自 通 应 和 步 长 控制 右 的 作 
用 ,以 便 按 照 归 一 化 LMS 算法 调整 滤波 器 的 抽 头 权 值 ,使 得 误差 信号 的 均 方 值 最 小 化 。 其 结 
果 是 ,回声 消除 器 输出 误差 信号 为 受到 污染 的 本 地 说 话 者 信号 提供 了 一 个 估计 。 











Rats 
eit} 





图 5.2 回声 控制 系统 结构 框图 


6.3.1 步 长 控制 


式 (6.10) 中 的 归 一 化 LMS 算法 假设 使 用 常数 的 归 一 化 步 长 参数 。 然 而 ,如 果 式 (6.13) 的 
宏 重 回 归 模 型 的 干扰 y(n} 特性 发 生变 化 ,算法 可 能 会 因为 估计 误 盖 总 {nn) 与 e(n) 闻 的 不 匹 
配 引 起 机 能 失常 。 具 体 米 说 ,假设 本 地 干 护 y(n) 增 大 。 由 于 误差 信号 e(n) 随 y(n) 的 增 大 而 
增 大 , 则 由 式 (6.29) 可 知 ,efn) 的 增加 将 导致 步 长 参数 到 的 上 界 下 降 。 对 于 目前 情况 , 产 可 能 
将 变 得 过 大 ,从 而 导致 回声 消除 己 不 稳定 。 

影响 回声 消除 器 工作 的 干扰 v(x) 的 产生 ,有 以 下 儿 个 因素 ， 
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8 本 地 说 话音 的 洛 音 售 导 导 致 自 适 应 族 波 器 的 十 扰 。 当 本 地 说 话 者 和 远 端 说 话 者 同时 激 
活 时 ,由 有 所 谓 双 说 话 (double-tak)， 
e 存 企 永 和 久 的 本 地 只 声 (如 汽车 内 的 背景 噪声 ), 它 也 将 十 执 误 差 依 号 。 
oS | ATE RRR, 如 果 不 可 能 的 话 ,也 很 难 考虑 周围 环境 全 部 的 脉冲 
响应 。 源 自 不 能 建 模 的 乾 部 分 系统 的 剩余 回声 代表 了 本 地 噪声 的 另 一 来 源 。 
e 定点 数字 信号 处 理 器 经 常用 在 自 适应 滤波 器 的 实现 中 ,以 便 限 制 系 统 开销 。 用 在 该 实 
了 现 中 定点 运算 的 量化 喉 过 也 是 本 地 十 扰 的 一 个 源头 , 它 也 影响 了 回声 消除 器 的 运行 。 
为 了 对 付 这 些 因素 的 影响 ,必须 减 小 步 长 参数 产 。 然 而 ,使 用 固定 不 变 的 小 步 长 参数 去 
并 不 是 人 们 所 期 望 的 ,原因 如 下 : 
s 在 本 地 下 扰 较 大 时 ,5 OER. uel. 
e 当 本 地 干扰 较 小 时 ,这 种 情况 也 可 能 出 现 , 小 步 色 的 使 用 降低 了 上 自 适 应 姜 波 器 的 收效 速率 。 
所 有 这 些 都 是 使 用 步 长 控制 的 原因 ,因此 需要 用 式 (6.20) 的 时 变 步 长 参数 天 fn) 来 取代 到。 
两 级 控制 原理 (two-stage control principle) 基 于 如 下 方程 
g WR fe ( 22) < T 
Hex 其 他 
其 中 jig. EE IEEE KTH 六 wtn) 是 次 磷 代 时 的 最 优 步 长 。 根 据 式 (6.30) ,如 果 n UR 
代 时 的 计算 值 faln hF Bs 的 一 半 , 则 不 存在 滤波 器 的 自 适 应 。 相 反 , 六 (nn) 在 有 处 为 党 
数 。 使 用 式 (6.30) ,需要 知道 最 优 步 长 Aal BREA, Mader 等 (2000) 代 之 以 使 用 最 优 
步 长 的 近似 来 解决 这 个 问题 。 获 得 这 个 近似 的 一 种 方案 将 在 后 面 介绍 。 
正如 前 面 所 指出 的 , 式 (6.29) 给 出 了 Ael KIIRI. EIER, Aa OEA 
下 闸 三 个 独立 的 估计 问题 ， 
9 误差 信号 功率 的 估计 , 即 Ele’ (mn)] 
9 输入 信号 功率 的 估计 , 即 EL u(y’) 
@ Hri, RIS n) 
输入 信号 wu(n) 和 误差 信号 e(n) 都 是 可 得 到 的 ,所 以 对 它们 各 自 平 均 功 率 的 合计 是 直截了当 
的 。 然 而 , 均 方 偏差 8(n ) 的 估计 需要 更 多 对 细节 方面 的 考虑 ,因为 表征 扬声器 -机 壳 麦 到 风 
环境 的 多 重 回归 模型 的 参数 w 是 未 知 的 。 
对 于 信号 x(a) 的 短 时 功率 估计 ,可 以 使 用 凸 组 合 转 想 表 示 一 阶 遂 归 过 程 为 


2 一 (1 一 yx + 1) + y(n) (6.31) 
Hep? (nda n 时 刻 的 功率 估计 ,7y 是 平滑 常数 。y 的 取 值 一 般 在 [0.9,0.999j 内 。 于 古 , 我 
们 可 以 使 用 式 (6.31) 估 计 误 差 信 号 功率 和 输入 信号 功率 ,并 令 x(n) = e(n), x(n) = uln). 
下 面 转 到 对 于 均 方 偏差 3(z) 的 估计 ,我 们 使 用 一 种 ,将 人 工时 延 (antificial qelay) 插 人 到 扬 声 
器 -机 壳 - 麦 克 风 系统 的 方法 (Yamamoto & Kitayama, 1982; Mader et al. ,2000)。 这 个 方法 如 图 6.3 
所 示 , 其 中 远 端 说 话 者 信号 被 人 为 地 延迟 了 Mp 样 值 。 在 回声 消除 器 中 ,该 延迟 用 自 适 应 横向 滤 
波 嚣 来 建 模 。 因 此 ,对 应 于 人 工时 延 的 “真实 "参数 向 量 w 为 零 ,在 这 种 情况 下 ,我 们 可 令 


i(n) = (6.30) 
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e(a) = -i(n BP A= 01. Mol (6.32) 
Fit fete Han F E Se: BA ERA Gi FEARS RRB AAC) a 
gt 元 ) 扩 展 到 它 的 M iA Fi Yamamoto & Kitayama, 1982) 于 是 , 司 用 式 (6,32) 所 定 疼 的 部 分 
UR te FEC EA ha Fe HE 





Ml 

D(a) = 加 > Witn) (6.33) 
其 中 M 是 归 一 化 LMS 滤波 器 的 长 度 ,wn) 是 M x1 抽 头 权 辣 量 Ww(n) 的 第 个 分 量 。 最 后 ， 
oe Fe FA xh (6.31) EIS NS RAT Fle? Cn) EM Ela? (rn) 以 及 由 式 (6.33) 得 到 的 偏差 
O(n AAT, AAS EL (tn)]/1E[e*tn)] 计 算 最 优 步 长 tln) 

一 般 地 ,图 6.3 中 基于 人 了 本 延迟 的 步 长 榨 制 具有 民 好 的 性 能 。 其 体 来 说 , 当 由 本 地 莹 励 引 
‘TRIES e(n) 增 大 时 , 步 长 参数 减 小 ,从 而 避免 了 滤波 器 的 发 散 。 然 而 遗憾 的 是 ,LEM 环 
境 的 变化 可 能 学 致 系统 卡 洁 (freezing) ,因为 它 阻 断 了 证 波 器 新 的 自 适应 和 " 延 记 "系数 。 为 了 
克服 这 个 问题 ,需要 一 个 用 于 LEM 的 附加 检测 器 , 它 能 通过 设置 延 返 系数 或 步 长 大 小 为 较 大 
值 使 滤波 器 重新 自 适 应 中 。 


远 端 说 话 者 
fa u(r) 






A Whe et 


A ee 
fa 


二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 


图 6.3 售 有 均 方 偏差 估计 Dt n) 的 框图 结构 ,其 中 -各 表示 My TRA TIES 





和 Mader 等 (2000) 给 出 一 个 在 人 为 延迟 方法 中 可 能 发 生 * 卡 滞 " 现 象 的 例子 , 见 该 文 第 5 页。 
Mater 等 岂 措 述 了 另 一 个 合计 均 方 偏差 的 方法 。 无 干扰 误 差 慷 号 总 (n) 可 用 误 状 信号 来 近似 ,只 要 满足 以 下 两 个 条 件 ; 
。 采用 足 角 的 激励 。 
。 本 地 说 话 者 没有 激活 , 它 需 要 使 用 呆 售 的 单 谈话 检测 方案 。 
当 远 端 单 谈 话 存在 时 ,一 种 回归 平滑 形式 被 用 来 估计 均 方 偏差 ;和 理 则 , 旧 的 值 保留 。 TRD, METETA Ei 
HARAR. TERE, ET E A Mader et al. ,2000) 











en 
(a) = Fn) 7 
e*(n) , 
+ 
Stn — i) 其 他 


其 中 y 为 小 于 1 的 正常 数 ， 上 式 步 长 挤 制 的 优点 在 于 , 当 LEM RARER CRAP BE 


260 自 适 应 滤波 器 原理 


6.4 ”实数 据 时 收 钱 过 程 的 几何 考虑 


根据 式 (5.9), 它 把 权 向 量 调整 量 6w(n + DHF nt 1 次 选 代 的 归 一 化 滤波 器 ,我 们 观察 
到 如 下 现象 : 

1) 调整 量 Sw(n + DA SRA m E n(n) 的 方向 - - 致 。 

2) 调整 量 5w(n + 1) 的 大 小 取决 于 输入 向 姻 (a) 与 nln- 1) 的 样 值 相关 系数 。 对 于 实 

数据 而 言 , 该 系数 定义 为 
un)un — 2) 
Pune’) Tat) fula — 1)! 

《本 节 仅 讨论 实数 据 , 原 因 在 于 减轻 几何 表示 的 负担 ,) 

从 几何 观点 看 , 式 (6.34) 具 有 很 深 的 伟 头 , 当 去 =1 利 六 =3 时 如 图 6.4(a) 所 示 。 两 个 M 
维 空间 的 元 素 , 即 输入 数据 空间 和 权 值 空间 已 经 在 图 中 表示 。 具 体 来 说 , x, EAR 
w(n) 的 集合 , 它 作用 于 输入 向 量 u(rn) 以 产生 输出 y(n) ,而 卫 类 似 的 定义 用 于 r，,。 超 平面 
x, 与 zc ARH o REMADE ula) ulna -1 MEA. SS SB A, A un) 
与 a(n - 1) 的 来 角 的 余 续 定义 为 它们 的 内 积 被 其 欧 氏 范 数 uln) 上 和 a(n -1) | 的 乘积 相 
Ki (Wozencraft & Jacobs, 1965). AE , THEME 2) 细 化 为 ， 


2a) 当 8= +90c[ 即 输入 向 量 (tn) 与 n(n- 1) 相互 正 交 ] 时 , 归 一 化 LMS 滤波 器 的 收敛 速 
率 最 快 。 

2b) 当 8= 0 或 180*[ 即 输入 向 量 a(n) 与 a(n -1 处 于 相同 方向 或 相反 方向 ] 时 , 归 一 化 
LMS 滤波 器 的 收 合 速率 最 慢 。 


为 了 防止 2b) 的 情况 出 现 [ 即 保 持 收 敛 速率 基本 上 为 常数 ,独立 于 输入 向 量 a) n- 
fal Ase fy 6], 我 们 使 用 称 为 仿 射 投影 滤波 占 (affine projection filter) 的 广义 归 一 化 LMS 滤波 器 
(Ozeki & Umeda, 1984). 

eat AM =3 Ot, eT a LE LR 6.4(b) tm. FEA, 
r. 门 zx，; 表 示 它 们 的 交集 。 将 它 与 网 6.4(a) 的 归 一 化 滤波 器 比较 可 以 发 现 ,在 权 值 空间 内 ， 
wn + 1 与 wn) KIER IEF r, 门生- ,而 不 是 T, o 

在 多 维 空间 下 ,我 们 应 当 区 别 子 空间 和 仿 射 子 空间 (affine subapace)。 根 据 定义 , 子 空间 通 
过 多 维 空间 的 原点 ,而 仿 射 子 空间 不 会 。 参 考 图 6.4(b) ,我 们 注意 到 超 平面 x 与 x :并 没有 
包含 MERE, Alta, 门 x 是 仿 射 子 空间 ,从 而 得 到 “ 仿 射 投影 滤波 器 "的 名 字 。 其 


算法 将 在 后 面 讨论 名。 


(6.34) 








D Gay 和 Benesty (2000) 654 BAA T {BRE Be RY a aR A E” SRA BE H B A RE PE h K 
应 用 。 除 了 单 信道 回声 消除 器 外 ,该 书 还 讨论 了 多 信道 回声 消除 和 涉及 麦克 风 阵 列 的 进一步 改进 系统 ， 
仿 射 投影 涉 波 器 以 及 它 在 回声 消除 中 的 应 用 ,在 Benesty 等 (2001) 的 书 中 有 所 讨论 。 
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(a) B -化 LMHS 算法 





(h 仿 射 投影 自 适应 算法 
图 6.4 归 一 化 LMS 算法 和 仿 射 投影 身 适应 算法 的 几何 解释 。 图 中 向量 站 表示 各 重 回归 模型 的 未 知 参 数 向 量 


6.5 仿 射 投影 滤波 器 


我 们 用 数学 形式 将 仿 射 投影 滤波 器 设计 准则 表示 为 如 下 约束 最 优化 间 题 : 


最 小 化 如 下 权 值 向 量变 化 重 的 平方 欧 民 范 教 
Swin +1) = win + 1) — win) (6.35) 


HAREHH 
din — k) = Win + Dula — k) WP A =0,1,...,N-1 (6.36) 
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去 中 六 小 于 输入 数据 空间 (或 权 值 室 间 ) 的 维 数 Mo 


这 个 约束 最 优 准 则 将 归 一 化 LMS gi eR RMN = 1。 我们 可 以 浆 约 更 个 数 N 
看 和 做 仿 射 投 影 自 适应 滤波 器 的 阶 数 。 

根据 附录 C 的 多 约 东 拉 格 良 旺 乘 子 法 ,可 结合 式 (6.35) 和 式 (6.36) 建 立 如 下 仿 射 投影 让 
UR AB AAT Ht eR RK 


Tn) = win +1) — won}? + > Re Af(d(n = k) — Witn + ula —k))} (6.37) 
在 这 个 函数 中 RAE Fa, 属于 多 个 约束 。 为 了 表示 方便 起 见 , 引 人 如 下 定 久 ， 
@Nx MBE ACn), HERRER Be LH 


A(n) = [un nn — 1),...,u(" N + 1)} (6,38) 
@ Nx | 期 望 响 应 向 量 , 它 的 埃 尔 米 特 转 置 定义 为 
a(n) = [d(n),d(a — 1),...,d(n — N + 1)] (6.39) 
e NN x1 拉客 朗 日 向 量 , 它 的 埃 尔 米 特 转 置 定义 为 
AF = [Ap At Anil- (6,40) 
A Fash (6.37) SS Yo AE RCA ae MA RRA 
Jin) = |Win + 1) — Wn)? + Ref(d(n) — A(n)w(n + 1))7a) (6.41) 
则 根据 附录 B 的 复 值 向 量 的 微分 规则 可 见 ,代价 函数 A wln + 1) 的 微分 为 
pee = 2(w(n + 1) — W(n)) 一 At Una 
aw*(n + 1) 
设 该 导数 为 零 , 可 得 
bw(n + 1) = 5 A"(n)A (6.42) 


为 了 从 式 (6.42) 中 消去 拉 格 病 日 乘 子 向 量 和 ,首先 使 用 式 人 6.38) 和 式 16.39) 的 定义 ,以 等 
价 形式 重 写 式 (6.36) 为 
d(x) = A(n)w(n + 1) (6.43) 
然后 ,在 式 {6.42) 两 边 同 时 左 乘 以 A(n) 并 使 用 式 (6.35) 和 式 (6. 和 ) 消 去 更 新 的 权 向 量 
win + 1), 则 得 
din) = A(n)w(n) + = A(njAM(n)a (6.44) 


由 此 ,可 以 推出 如 下 结果 : 
@ 基于 次 选 代 得 到 的 数据 d(n) 与 A(n)w(n) 之 间 的 差 是 一 个 N x1 误差 向量 
e(n) = d(n) ~ A(n)w(n) (6.45) 
o EREM A(n)A*(n) 是 一 个 N x NE, ECAC A" (An)? 
因此 ,对 拉 格 朗 日 乘 子 向 量 入 求解 式 (6.44) ,得 
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A = A{n)A (n) y efn) (6.46) 
将 这 个 解 代入 式 (6.42) ,得 到 权 向 量 的 最 优 变 化 量 为 
bwin +1) = A@(nyA(n)(A*(n)) eln) (6.47) 


最 后 ,我 们 需要 对 从 一 次 选 代 到 下 一 次 选 代 的 权 向 量 进行 控制 ,但 保持 方向 相同 。 为 此 ， 
把 步 长 参数 引信 式 (6.47) ,结果 得 到 


bwin +1) = GA" (n)(A(a)A*(n)) etn) (6.48) 
等 价 地 ,可 写 出 
win + 1) = Wn) + AAFAA) ) ela) (6.49) 
CRE eT AT BR Be. GATOR ESR 6.2 中 总 结 。 
表 6.2 仿 射 投影 自 适应 滤波 器 小 结 





w: 

M = FHM 

E = 自 通 应 常数 

N = SBS RM, Cie x Te 
初始 化 ; 

如 果 知 道 抽 头 权 向 量 的 先 验 知识 , 则 用 它 来 选择 w(0) 的 适当 值 ;和 理 则 令 w(0) = 昌 
数据 ; 

+ AEN) vn BLAM x 1 FSA e R 

=[ufa)e(n-1),..., u(n-M+1)]" 
a(n) = 第 n ey 

+ BAM watt) = Bas 时间 步 抽 头 权 向 量 估计 
计算 : 

对 4a=0,1,... ,计算 

A'¢rj=(uta),uda—-1),..., uin- Ntl); 

d?(n}=[d(n),d(n-1),..., d(n-N+1)] 

e(n) =d(n)~ AC n(n) 

@(nt 1) =Wln) + fA" (nA nA" (2) eln) 


6.5.1 仿 射 投影 算 子 


正如 第 6.4 节 所 表述 的 ,和 更新 的 权 向 量 wn + 1) 是 仿 射 投影 算 子 作用 于 Won MAR. A 
了 确定 该 算 子 ,将 式 (6.45) 代 大 式 {6.49) ,得 到 


Wnt 1) = i KAN(n){A(n)A AN A A(n) |W(n) eae 
+ fAM(n(A(nA"(n)) din) 
hp LEME, MEER (projection operator) 
P = A*(n)(A(n)A*(n))'A(2) (6.51) 


它 由 数据 矩阵 ACn ) 惟 一 确定 。 对 于 给 定 的 产 ,A(n) 和 dla) ,互补 投影 算 子 (complement pro- 
jector) [I~ EP] 作 用 于 旧 的 术 向 量 w(n) 产 生 更 新 后 的 权 向 量 w(n + 1)。 更 重要 的 是 , 式 
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(6.50) 的 第 2 项 使 得 互补 投影 成 为 仿 射 投影 而 不 基 一 般 的 映射 。 

在 第 外 章 讨论 最 小 二 乘法 时 将 会 看 到 , 当 Neb M HERE AY (nn) (AC a) AN (n)) ER 
据 A(n) 的 的 道 (fpseudoinverse)， 用 A* (nn) 表 示 俯 道 , 则 式 (6.50) 可 简化 为 

Wnt Ll) = [I - EAA Wm) + Aada) (6.52) 

事实 上 , 正 是 因为 定 习 式 (5.52) ,使 得 我 们 可 依据 计算 复杂 性 和 性 能 将 仿 射 投影 滤波 器 看 做 第 
6.1 节 介 绍 的 归 一 化 LMS 滤波 器 与 第 9 章 介 绍 的 递 妇 最 小 平方 滤波 器 之 间 的 中 闻 目 适应 被 波 
tio 
6.5.2 仿 射 投影 自 适 应 滤波 器 的 稳定 性 分 析 


与 归 一 化 LMS 滤波 器 一 样 ,可 把 仿 射 投影 滤波 器 的 稳定 性 分 析 建 立 在 式 (6.1 和 定义 的 均 
方 偏差 (ma) 的 基础 上 。 从 帮 为 参考 和 框架 的 多 重 回归 模型 的 未 知 权 癌 量 w 中 减 去 式 (6.49) ,得 
到 
e(n +1) = ela) — BA" (n)(A(n)A*(n)) etn) (6.53) 
在 当 (nm) 的 定义 式 中 使 用 这 个 更 新 方程 , 重 排 并 简化 各 项 ,得 到 
Bin +1) — Sin) = pEle*(n}Al(njA"(n) 
eee P (AC | ine : e(n) |} ae 
其 中 
En) = A(n)(w — ¥(n)) (6.55) 
LFF PRIRS 306.54 A aS n TR ARR n CLT i, RB 
假设 步 长 参数 & 满足 如 下 条 件 
2E{Reltr{n)(A(n)Ar(n)) e(n)]} 





0< pi aa 6.56 
SESO Ejen AmA" ay eln) o 

它 包含 式 (6.18) 归 一 化 LMS 滤波 器 的 相应 公式 作为 其 特例 。 最 优 步 长 定义 为 
~ _ E{Re[lé2(n)(A(n)A"(n)) el eos 


Hon Elel(n\(A(n)AM(n)) etn)] 
为 了 简化 这 个 公式 ,我们 把 归 一 化 LMS 算 法 中 假设 1 和 假设 2 推广 为 如 下 假设 |; 
假设 4: 从 一 个 近代 到 下 一 个 移 代 ,天 阵 乘积 A(CnjA*(n) 之 北 的 波动 足够 小 以 使 得 fi gift 
‘A 


E{Re[€4(n)e(n)]} 
kaa. Ta) (6.58 
oe Ele] 
假设 5; KFRREOEE (I STHEACRA a ETH 
vi(n) = [v(n) vlan 1), vin N + 1)] (6.59) 


推广 到 复数 据 时 ,假设 3 可 很 好 地 用 于 仿 射 投影 滤波 器 。 从 而 ,引用 假设 3 和 假设 4, 可 将 
式 (6.57) 简 化 为 
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(和 (全 
Bo Eje] 





N-1 : 
D Elleala — k)l] 
i 





$ zleta — 43/7 (6.60) 
N-] 


Si Bln — KE[|u(n — ky" 


> Ellen = P| 
对 于 实数 据 , KAPRER N = 1, 式 (6.60) 退 化 为 归 一 化 LMS 算法 的 式 (6.29)。 
6.5.3 仿 射 投影 自 适 应 滤波 器 收敛 特性 的 观察 


仿 射 投影 滤波 器 的 一 个 主要 优点 是 其 收 合 速率 优 于 归 一 化 LMS 滤波 器 。 对 于 仿 射 投影 
滤波 咒 的 收 创 特 性 ,有 如 下 观测 结果 (Sankaran & Beex, 2000); 


1) 仿 射 投影 自 适度 滤波 器 的 学 习 曲 线 由 指数 项 之 和 组 成 。 

2) 仿 射 投影 自 适应 滤波 器 的 收 全 速率 快 于 对 应 的 归 一 化 LMS 滤波 器 。 

3) 狂 着 使 用 更 多 的 延迟 型 抽 藉 输 人 向 量 n(n)( 即 湖 着 滤波 器 阶 数 入 增 大 ) , 收 黎 速率 如 
快 ,但 获得 的 收敛 率 改 善 变 小 。 


在 任何 情况 下 ,收敛 特性 的 改善 以 计算 复杂 度 的 增加 为 代价 。 这 将 在 后 面 讨论 。 


6.5.4 实际 考虑 
对 于 仿 射 投影 自 适应 滤波 器 , 式 (46.49) 中 六 xm 矩阵 乘积 A(n)AS(n) 之 道 , 对 该 更 新 方 
程 提出 两 点 实际 改进 的 考虑 ， 


© 注意 噪声 数据 的 正则 化 
改善 计算 效率 的 快速 实现 
下 面 ,依次 考虑 这 两 个 问题 : 
1) 正则 化 ”在 噪声 环境 下 ,Nx NN BRR ACA fn) 之 道 可 能 发 生 数值 的 困难 。 为 


了 防止 这 种 情况 发 生 ,通过 在 这 个 乘积 中 加 上 红 来 修改 该 乘积 ,其 中 8 是 一 个 很 小 的 
正常 数 ,I 是 Nx 单位 阵 。 将 这 个 夏 正 引入 到 式 (6.49) 中 ,可 得 到 


win +1) = (n) + BAB (n)A(H)AM(n) + SIT etn) (6.61) 
这 个 新 的 北新 片 程 将 式 (6.12) 作 为 其 特例 。 具 体 来 说 , 令 N= 1 
A(n) = u(n) 





和 
d(n) = d(n) 
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旭 根 据 式 (6.38) 和 和 式 (6.39) 的 定义 容易 看 出 , 式 (6.61) 的 特 弥 有 形式 为 式 (6.12)， 
式 (6.61) 引 和 人 的 修正 称 为 正则 化 (在 第 9 章 将 更 详细 地 讲述 这 个 问题 ;， 事 实 上 , RRA 
用 来 避 负 <“ 近 靖 噬 声 放大 ”例如 ,在 癌 声 消 队 应 用 中 ,误差 信 好 ef ao 包含 了 近 问 噪声。 如 果 
矩阵 ACA oa) 的 道 较 大 ,这 丁 近 端 唆 声 将 破 坏 昌 适 应 ,从 而 需要 调整 它 。 式 (46.61) 中 的 参 
A s RAEES K. 
2) 快速 实现 “” 当 投影 维 数 六 增 大 时 , 式 (6.61) 计 算得 到 的 w(n) 的 收敛 速率 上 升 。 遗 憾 
的 是 , 仿 射 投影 白 适 应 滤波 器 性 能 的 提高 居 以 宾 特 计算 复杂 度 为 代价 的 。 为 了 降低 计 
算 复 厅 度 ,我 们 漠 要 找到 仿 射 抽 影 自 适 应 被 流 瞧 的 一 种 实现 ,使 得 它 与 滤波 器 阶 数 OM 
的 关系 是 线性 的 。 这 样 的 一 种 实现 通常 称 为 “快速 "实现 。 

仿 射 投影 自 适 应 滤波 器 的 快速 实现 可 以 在 时 域 , 也 可 以 在 冰 域 : 

e 时 域 方 法 ”利用 输入 向 量 u(r) 的 时 移 特性 (time-shifting propery)。 这 个 特性 具体 表现 
we) PCA AA wn- 1) 共享 元 素 u(n-1),..., u(n-M+1), EF M BRA 
空间 的 维 数 .，Gay 和 Tavathia( 1995) 设 计 的 快速 仿 射 投影 (FAP, fast affine projection) 滤波 
器 就 使 用 这 个 方法 。 

昌 频 域 方 法 ”利用 基于 快速 “ 卷 积 "思想 的 快速 FIR 滤波 技术 , 它 使 用 快速 傅 里 叶 变 换 。 
Tanaka 等 (1999) 设 计 的 精确 分 锯 的 快速 仿 射 投影 (BEFAP, block exact fast affine projec- 
tion) 滤 波 器 使 用 这 个 方法 。 

遗憾 的 是 , 仿 射 投影 滤波 器 的 正则 化 与 快速 实现 很 可 能 冲突 ,因为 前 面 旭 到 的 快速 型 滤波 器 依 
积 于 某 种 近似 ,而 如 果 应 用 正则 化 就 会 违背 这 一 近似 (Hombouts & Moonen, 2000). RAK, 
在 推导 PAP 滤波 器 (其 中 BEFAP 滤波 器 是 精确 分 块 的 频 域 实现 ) 时 ,所 做 近似 最 终 将 得 到 如 下 
方程 (Gay & Tavathia, 1995) 

e(n) = (1 — ke itn ~ 1) for i>i (6.62) 
其 中 e,(n) 表 示 误 差 向 量 e(n) 的 第 i; 个 分 量 。 然 而 , 当 使 用 某 种 正则 化 时 ,该 近似 有 时 会 导致 
不 可 接受 的 结果 ,正如 Rombouts 和 针 oonen(2000) 所 证 明 的 那样 。 为 此 ,他 们 导 测 了 不 涉及 上 
述 近 似 的 仿 射 投影 滤波 器 。 这 个 新 算法 中 的 主要 修改 是 引入 指数 窗口 ,其 定义 为 


Z'(n) = [AZ(n — 1) + faia) (6.63) 
其 中 4 是 指数 加 权 因 子 ,其 取 值 范围 在 0<4<1, 且 
Zn) = JA AA (6.64) 
式 (6.63) 中 修改 的 抽 头 输入 向 量 定义 为 
S = [u(n),u(n -Ta 一 AN (6.65) 
[注意 :向 和 量 0(n) 的 维 数 是 N+1, 而 向 量 nE M 维 的 。] 因 些 式 (6.49) 被 取代 为 
Win +1) = W(n) + RAY (ngin) (6.66) 


其 中 g(n) 是 和 Nx1 向 量 , 它 与 误差 向 量 etn) 的 关系 为 





”作为 正则 北 的 一 种 方式 ,指教 窗 首 先 由 Papadias 和 Slock( 1994) 提 出 。Rombouts 和 Woonenf2000) 引 人 的 主要 长 进 是 
能 够 以 较 小 的 额外 代价 在 每 一 次 选 代 中 重新 计算 先 验 误差 向 量 ， 
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gin) = [Ztn)] eln) (6.67) 
Rombouts 和 Moenen(2000) 用 模拟 结果 证 明了 正则 化 的 明显 效果 。 指 数 窗 的 使 用 防止 期 望 响应 
da 中 出 现 噪 卢 时 滤波 器 的 抽 头 权 值 偏离 正确 的 解 。 


6.6 本 章 小 结 


存 这 一 章 中 ,通过 引信 归 一 化 LMS 滤波 器 和 仿 射 投 影 滤波 器 扩展 了 LMS DE ar EB 
归 一 化 LMS 滤波 器 不 同 于 传统 的 LMS 洪波 带 ,其 不 同 在 于 控制 滤波 器 抽 半 权 向 景 调整 的 步 长 
参数 的 定义 方式 不 同 。 在 传统 LMS 滤波 器 中 步 长 大 小 为 一 标量 参数 py ,在 归 一 化 LMS 滤波 部 
情况 下 , 步 长 参数 定 文 为 aK | mm) |? +6), RE a BA BA, | a(n) | 是 抽 头 输入 问 
量 n(n) 的 欧 氏 范 数 ,6 是 一 个 小 的 正常 数 ， 归 一 化 LMS 滤波 器 的 优点 如 下 ; 
1) 由 一 化 LMS 滤波 器 减轻 了 梯度 噪声 放大 问题 , 当 抽 头 输 入 向 景 uCa) 较 大 时 ,将 会 发 生 
这 个 问题 。 
2) 无 论 是 不 相关 还 是 相关 数据 , 妇 一 化 LMS 滤波 器 的 收 钱 速率 都 可 能 快 于 传统 LMS OB 
HE. 
仿 射 投影 滤波 器 是 归 一 化 LMS 滤波 器 的 推广 。 具体 来 说 , 归 一 化 LMS PE ee SK A i 
的 调整 项 palne (n)/( || a(n) 1? + dS) ARES BA" (n)(AC HA" Cn) +81) etn) 所 代 
替 , 其 中 I 是 单位 定 阵 ， ô 是 一 个 小 正常 数 。 
An) = [u(n), n(n -liuln -N+ 1)] 
eln) = d(n) 一 A(n)w(n) 


d#(n) = [d(n),d(n - 1)... din N + 1}] 


由 于 抽 头 输入 向 量 n REA dn RAN - 1) 个 过 去 值 , A aT ae 
看 做 是 介 于 归 一 化 LMS 滤波 器 与 递归 最 小 平方 滤波 器 之 间 的 自 适应 滤波 器 (将 在 第 9 章 讨 
沦 )。 所 以 , 仿 射 投影 滤波 器 以 计算 复杂 性 为 代价 来 换取 收敛 性 的 改善 。 


6.7 习题 


1. 在 第 6.1 世 ,我 们 推导 了 归 一 化 LMS 算 法。 在 这 个 问题 中 ,我 们 通过 修改 传统 LMS 算法 中 的 
最 速 下 降 算法 来 推导 归 一 化 LMS 算法 。 这 种 修改 涉及 将 该 方法 中 抽 头 权 向 量 更 新 值 写 为 


wn + 1) = w{n) 一 了 PC 
其 中 un) 是 时 变 步 长 参数 ,V (1) 是 梯度 向 量 ,其 定义 如 下 
Vin} = 2[Rw(7) 一 p] 
式 中 及 是 莉 头 输入 向 量 上 ma) 的 相关 矩阵 ,p 是 抽 头 输入 向 量 n(n) 和 期 望 响应 din) HE 


相关 向 量 。 
(a) 在 n+1 时 刻 , 均 方 误差 定义 为 


268 自 适应 滤波 器 原理 


I(n+ 1) = Fie(n + 1)] 


其 中 
efnt 1} = dint 1) — win + lon + 1) 
确定 步 长 参数 的 值 (rn) 使 得 作为 R 和 YW Cn) RKR Cn +1) 最 小 化 ， 

(b) 和 使 用 (a) 中 导出 的 e, Cn) BIAS R 和 YW (n) 的 瞬 态 估计 ,确定 柑 应 on, (nn) BOA 
计 。 由 此 ,表示 抽 头 权 向 量 w(n) 的 更 新 公式 ,并 将 所 得 结果 与 归 一 化 LMS 算法 得 到 的 
结果 进行 比较 。 

完成 式 (6.8) 扒 导 的 细节 。 除了 标 度 因子 关外 , 式 (6.8) 定 闵 了 归 一 化 LMS a KAR 

向 量 w(=) 的 失调 量 Sw(n +1)。 

. 用 两 个 统计 量 表示 归 一 化 LMS 算法 的 权 值 更 新 。 给 定 步 长 参数 产 , 抽 头 输入 向 量 


ula) = [utn), u(r —]),...,0(n M + 1}]' 
以 及 对 应 的 期 望 啊 应 2(n) ,一 个 统计 量 的 更 新 公式 为 
(1) iu(n +1) = ül) + ATS aa —kje(n) k=0L...M-1 


其 中 
M-I 
e(n) = din) ~ un - k} 


另 一 个 统计 量 的 更 新 公式 为 


(2) 从 (na + 1) = Ĝin) + iinet” —ke*(n)  k=0,1,..,M 


其 中 eln) E AnA, | wn) | 是 utn) 的 欧 氏 范 数 。 
这 两 个 式 子 的 不 同 在 于 其 归 一 化 方式 不 同 。 潜 看 第 6.1 节 提 出 的 归 一 化 LMS 滤波 器 
理论 , 哪 一 个 公式 是 正确 的 ? 试 证 明 你 的 结论 。 
. 完成 起 (6.47) 推 导 的 细节 。 除 了 需要 标 度 因子 产 外 , 式 (6. 季 ) 定 交 了 仿 射 投影 泪 波 器 的 抽 
头 权 向 量 W(n) 的 失调 量 Sw(n +1)。 
. 给 出 一 个 表格 ,总 结 以 下 三 个 LMS 系列 的 优 缺 点 : 
(a) 传统 的 LMS 滤波 器 
(b) 归 一 化 LMS 滤波 器 
(c) 仿 射 投影 自 适应 滤波 器 
. 设 
Wyesieglt) = Cj 
其 中 a 是 标 度 因子 。 令 WDM Waa MEREKA = 时 计算 得 到 的 抽 头 权 向 量 , 它 
们 分 别 对 应 输入 un) AT www{n)。 证 明 从 相同 的 初始 条 件 出 发 ,等 式 
Waral”) 一 win) 


对 于 归 一 化 LMS 恋 波 器 和 仿 射 投影 自 适 应 滤波 器 都 成 立 。 
. 仿 射 投影 自 适 应 滤波 算法 用 来 估计 自 回归 (AR) 过 程 的 相关 系数 ,该 自 回归 过 程 定义 为 
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uta} = Stun ~k} + ein) 


其 中 oO) BPH AWARE. 
(a) RRB PHAR PEA NETTIE AR 相关 系数 ww... wy RK. 
(b) 2M Mx 1 向 量 
$n) = [I - AM (n)(A(n} An) A(n) Jue) 
其 中 
u(t) = [ninutin 1),....uln M +] 
A 
A"(n) = [un} un ~ 1)....,.u(n — N + 2)] 
证 明 O(n) Tia, SOCR ES HERR ee. 
8. 在 关于 归 一 化 LMS Bae aR A BE ORE RE 
O<u<2 
通常 作为 这 些 滤波 器 稳定 的 必要 条 件 。 对 于 好 一 化 LMS DE (6.19) MOTE 
波 器 的 式 (6.57) ,讨论 什么 情况 下 a 的 上 界 为 2 是 正确 的 。 
9. 说 明 如 下 的 陈述 是 正确 的 : 
(a) 归 一 化 LMS 滩 波 器 的 计算 复杂 度 为 OCM), EF 凡是 滤波 器 的 长 度 。 
(b) FN SIERRAS EA OCMN) ,其 中 N 是 滤波 器 的 阶 数 。 
10. 计算 机 实验 
在 这 道 习 题 中 ,我 们 重新 考虑 第 5 章 习 题 21 的 计算 机 实验 。 给 定 AR 过 程 为 
中) = 一 三 下 一 人 一 多 二 下 一 2 十 三 站 
其 中 a, =0.1, gs = -0.8,v(n) 是 均值 为 零 的 白蜡 声 , 方 差 的 选择 使 得 xs(n) 的 方差 为 1。 
(a) 画 出 用 来 估计 AR 参数 a 和 a 的 归 一 化 LMS 滤波 器 的 学 习 曲 线 。 计 算 中 使 用 如 下 
参数 
p= 0.2 
和 和 
5=05 
图 中 结果 是 该 实验 的 100 次 独立 试验 集 的 平方 误差 信号 efn) 的 平均 。 
(b) 画 出 抽 头 权 值 佑 计 的 相应 误差。 
(ec) 当 分别 为 0.25 和 0.75 时 ,重复 (a) 和 (b) 的 实验 ,并 考察 3 变化 对 观测 结果 有 什么 
E? 
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在 第 5 章 和 第 6 章 所 介绍 的 传统 和 上 一 化 TMS 算法 中 ,有 限 脉冲 响应 {FIR ,finite-duration 
impulse response) 证 波 器 的 抽 头 权 值 硒 时 域 进行 调整 。 考 虑 到 傅 里 叶 变 换 将 时 域 映射 为 频 域 ， 
而 反 变 换 则 将 频 域 映 射 为 时 域 。 因 此 ,在 闫 域 进行 滤波 器 参 数 自 适 应 调整 是 同样 可 行 的 。 这 
SOL fe ee, A A PE I ( FDAF, frequency-domain adaptive filtering) , 它 的 起 源 可 以 追 湖 乔 Waleman 
和 Schwartz(1973) 的 早期 论文 。 

在 频 域 寻求 自 适 应 的 原因 如 下 : 

1. 在 特定 应 用 领域 ,如 电视 会 议 中 回声 消除 , 自 适 应 滤波 器 街 要 有 很 长 的 脉冲 响应 来 处 

理 同样 长 的 回声 持续 时 间 。 当 LMS 滤波 髓 进行 时 域 目 适 应 时 ,其 长 记忆 要 求 将 导致 算 
法 计算 复杂 度 增加 。 频 域 自 适应 滤波 需 提 供 了 解决 计算 复杂 性 问题 的 一 种 可 能 方案 . 
2. 其 机 理 不 同 于 第 1 点 所 述 的 自 正 变化 自 适 应 证 流 器 ,也 可 用 来 改善 传统 LMS 滤波 器 的 

收 人 就 性 能 。 在 这 种 情况 下 ,通过 利用 离散 健 甲 叶 变 换 {DFT, discrete Fourier transform) Ai 
相关 离散 变换 的 正 交 性 可 以 获得 更 加 一 致 的 收敛 速率 。 


本 章 将 讨论 上 述 两 种 频 域 自 适应 滤波 方法 。 同 时 也 讨论 了 不 同 于 自 正 交 自 适应 滤波 器 的 
子 带 自 适应 凄 波 器 。 在 子 带 自 适 应 证 波 器 中 , 共有 高 阻 价 误 减 的 滤波 俘 用 来 进行 输 人 信号 的 
频带 划分 ,从 而 有 可 能 在 频 域 改善 频 域 自 适 应 滤波 器 的 收 伍 特 性 。 此 外 ,通过 抽取 子 带 信和 号 
( 即 降 低 取 样 速 率 ), 有 可 能 获得 计算 复杂 度 的 大 大 降低 。 因 此 , 子 带 目 适应 滤波 器 是 频 域 目 适 
应 访 流 器 另外 “种 颇具 吸引 力 的 选择 。 

为 了 简化 表述 ,本 章 仅 限于 讨论 实数 据 的 情况 。 


7.1 RAL 


在 如 图 7.1 所 示 的 块 自 适应 滤波 器 中 ,输入 数据 序列 wu Ce) A FE a SL 
的 据 , 而 且 这 样 产 生 的 输入 数据 块 被 一 次 一 块 地 加 到 长 度 为 M 的 FIR 洪波 器 。 在 收集 到 每 一 
块 数据 样 值 后 ,进行 滤波 器 抽 头 权 值 的 更 新 ,使 得 滤波 器 的 自 适 应 一 抉 一 块 地 进行 ,而 不 是 像 
传统 LMS 滤波 器 那样 一 个 样 值 一 个 样 值 地 进行 (Clark et al. , 1981; Shynk, 1992}. 

根据 前 几 章 引 人 的 符号 , 令 


u(n) = [u(n aa Da M ED] (7.1) 
表示 时 刻 n 输入 信号 向 量 。 相 应 地 
w(n) = atm anaes (7.2) 
表示 时 刻 n 滤波 器 抽 头 权 向 量 。 令 上 表示 块 的 下 标 , 它 与 原始 样 值 时 间 n 的 关系 为 
n=kL+i f=0,1,..., 2-1 


T, 
k = 1,2... (7.3) 
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其 中 上 是 块 的 长 度 。 第 k SRA A GEE SOW iu kh + i) ip ,其 矩阵 形式 为 


AT(k) = [w(kL). mkL + 二 ,二 十 三 一 了 
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(7.4) 


在 这 个 输 人 数据 块 持续 期 间 EE ATR wk), EE n = 天 时 ww(n) 的 -- 个 改 


写 。 图 7.2 说 明了 滤波 器 长 度 M =6 和 和 块 长 度 L=4 时 数据 矩阵 ACE) 的 结构 。 



































iach alata 3 
i 2 
Tak) ce oi ee 
À | 7 = ort «has 1| ujk + 1) 
uftak + T i -3 | -4 0 | ujak) 
| , [REEL ] 1 ui4k 
uldk +2) | 2 | 2 -3 a Vas 
w(4k +3) 3 pE -3 | a(4k 一 
—— -4 | ufdk 一 
WR KM -5 | ul4k 


图 7.2 数据 矩阵 A( 5 的 结构 


弟 波 器 对 答 人 信和 号 向 量 忆 好 + 臣 做 汕 响 应 所 产生 的 输出 定 习 为 
y(kL + i) = (Ja(KL + i) 


& dkb+ OBR BANANA. Res 
e(kL + i) = d(kL + i) ykL +i) 


“1) 
- 2) 


3) 
4) 


- 5) 


w 
M- 
-Sè Ake AL +i- j) i=0,1,..,L-1 


(7.5) 


(7.6) 


是 通过 比较 滤波 器 输出 与 期 望 响应 而 产生 的 。 因 此 ,误差 信号 随 抽样 率 而 变 , 如 同 传统 LMS 
算法 那样 。 如 图 7.1 所 示 , 误 差 信号 以 与 自 通 应 滤波 器 输入 端 信号 岂 步 的 方式 分 成 工 点 的 块 ， 


然后 用 于 计算 应 用 于 滤波 器 抽 头 权 值 的 校正 值 。 


例 + 为 了 说 明 块 自 适应 滤波 器 中 的 运算 ,考虑 漠 波 器 长 度 型 =3 PRK LHI HK-BRS 
的 例子 。 则 对 于 三 个 相继 数据 块 上 -1,k 和 有 +1, 可 将 滤波 器 计算 得 到 的 输出 序列 表示 
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如 下 
u(3k — 3) u(3k — 4} u(3k — 5) wh - 1) y(3k — 3) 
$ (k- 1) {| u(3k — 2) ul3k ~ 3) wu(3k — 4) wlk = 1) = | y(3k — 2) 
u(3k — 1) u{3k — 2) u(3k 3) {k — 1) y(3k — 1) 
u(3k + 3) u(3k + 2) u(3k + 1) walk +1) ¥(3k + 3) 
第 天 抉 u(3k + 4) u(3k + 3) u(3k + 2) iA +1) ] =] y(3k +4) 
u(3k +5) u(3k + 4) u(3k + 3) | rwtk +1) y(3k + 5) 
( 


“(3k + 3) (3k + 2) u(3k +1) || upk + 1) y¥(3k + 3) 
第 (大 +1) KR u{3k + 4) (3k + 3) u(3k + 2) || wik +1) [=] yk + 4) 
u(3k + 5) u(3k + 4) u(3k + 3) wlk + 1) ¥(3k + 5) 
ZS RE RRM 21H RHEE ,其 根据 是 任何 主 对 角 元 素 都 相同 。 
7.1.1 块 LMS 算法 


由 第 5 章 LMS 算法 的 推导 可 知 ,假设 输入 数据 为 实数 据 时 从 算法 的 一 次 选 代 到 另 一 次 渤 
代 抽 头 权 回 量 调整 的 公式 如 下 : 
〈《 权 向 量 的 调整 ) = 《〈 步 氏 参 数 多 ( 抽 头 输 人 向 最) 误差 信号 ) 


ATER LMS 算法 中 误差 信和 号 随 抽样 速率 而 变 , 故 可 得 出 :对 于 每 一 个 数据 块 ,我 们 有 不 
同 的 用 于 自 适应 过 程 的 误差 信和 号 值 。 因 此 ,对 于 第 丰 个 数据 块 , 可 以 对 所 有 的 可 能 值 求 乘积 
uhh + ijel kE + 2A, FIER TT ERB CR LMS 算法 的 抽 头 权 向 量 的 更 新 公式 
如 下 


wk +1) = wk) 十 nS ulki + de(KL + i) (7.7) 
i=0 
其 中 j HEEBHK. ARRABERL ASAC. DAWE 
wk + 1) = WE) + ptk) (7.8) 
AP M xl 向量 中 (上 ) 是 互相 关 的 ,定义 为 


b(k) = TulkL + de(kL + i) 
i=0 


(7.9) 
= AT(kje(k) 
其 中 工 x 型 数据 矩阵 ACA) SE HER (7.4) H, M Lx] ot 
e(k) = [e(kL),e(kL + 1),...,e(kL + L-1) (7.10) 
是 误差 信号 向 量 。 
H LMS 算法 的 一 个 显著 特点 是 在 它 的 设计 中 结合 了 如 下 梯度 向 量 的 个 计 
Vik) = -$ Eua + ie(KL + i) (7.11) 


其 中 因子 2 是 为 了 与 第 4 章 和 第 5 章 的 定义 相 一 致 ,而 引 和 人 因 于 1/ 是 为 了 使 V( A) RAT 
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时 间 平 均 ， 因 此 ,可 重新 按照 Y(£) 表 示 块 LMS 算法 为 
wik +1) = w(k) 一 Suak) (7.12) 


其 中 
Ha 一 Lu {7.13) 
这 个 新 的 常数 ns 可 看 做 块 LMS 算法 的 "有效" 步 长 参数 。 


7.1.2 块 LMS 算法 的 收敛 性 


tt LMS 算法 具有 与 传统 [MS 算法 相似 的 特性 .其 基本 差异 在 于 各 自 实现 中 梯度 向 量 的 
fei EA. HR LMS 算法 的 梯度 估计 式 (7.11) 与 传统 LMS 算法 的 梯度 估计 式 (5.4) 比 较 
可 以 看 出 , 块 LMS 算 法 使 用 了 更 精确 的 梯度 向 量 估 计 。 由 于 时 间 平 均 的 绿 故 , 它 有 具有 估计 精 
度 随 着 块 长 度 增 大 而 提高 的 特性 ,， 然 而 ,这 个 改善 并 不 意味 着 快速 自 适应 ,这 个 事实 可 通过 考 
察 块 LMS 算法 的 收敛 特性 显露 出 米 。 

我 们 以 类 似 于 第 5 章 分 析 传 统 LMS 算法 的 方式 进行 央 LMS BES) OT, BEE, 
除了 少量 修改 外 ,这 里 的 分 析 遵 循 间 于 第 5 音 所 述 的 步骤 , 贿 在 下 标 i=0,1,...,L-1 范 围 内 
求 期 望 和 ,这 与 式 (7.3) 样 点 时 间 n 有关 且 其 用 途 途 和 借 式 (7.6) 而 得 到 提高 。 于 是 ,我 们 将 内 
LMS 算法 的 “小 步 长 "统计 分 析 结 果 总 结 如 下 : 


1) FMR HLM 算法 的 平均 时 间 常 数 为 
ae 
2M gAs 








(7.14) 


Tmeav 一 


HH A SERIE R= ELaln)ju (a) OM SREP. UERS pn 运 
行 的 传统 LMS 算法 平均 时 间 常 数 的 相应 公式 由 式 (5.104}) 给 出 , 重 写 如 下 
1 
al pAg 
对 于 给 定 的 相关 和 矩阵 及 ,两 个 算法 的 平均 特征 值 相 同 旦 皆 为 1。 因此 ,将 上 式 与 式 
(7.14) 比较 并 注意 到 式 {7.13) 的 关系 ,我 们 发 现 ; 对 于 某 一 固定 的 4。, 这 本 个 算法 具有 
相同 的 平均 时 间 常 数 。 

为 了 使 式 (7.14) 的 零 阶 公式 成 立 , 块 LMS 算 法 的 有 效 步 长 大 小 参数 pa 必须 小 于 
Va ,其 中 1。 是 相关 矩阵 R 的 最 大 特征 值 ， 现 假设 我 们 要 得 到 快速 自 适 应 ,从 而 要 
求 较 小 的 zs; 但 所 需要 的 块 长 度 上 很 大 以 致 于 式 (7.14) 计 算得 到 js 的 值 相 应 地 也 
很 大 。 在 这 种 情况 下 ,有 可 能 ys 的 计算 值 很 大 ,以 致 于 对 块 LMS 算法 的 高 阶 影响 变 
得 十 分 大 ,足以 使 算法 由 于 不 稳定 而 变 得 很 不 实际 。 

2) W H LMS 算法 所 产生 的 失调 为 


MM = <atr[ 及 ] (7.15) 


式 中 uf R] a AE RE, LRA 713), RAINS) 
5 章 传统 LMS 算法 得 到 的 式 (5.101) 一 样 。 
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7.1.3 块 长 度 的 选择 


此 前 ,在 讨论 块 LMS 滤波 器 时 ,我 们 设 有 对 与 和 眼 适 应 滤波 器 长 度 时 有 关 的 块 长 度 上 施加 
任何 约束 。 我 们 认为 ,在 这 方面 存在 三 种 串 能 的 选择 ,得 -种 选择 都 有 其 种 自 和 的 实际 应 用 .. 这 
一 种 可 能 的 选择 是 : 
1) 二 = 开 , 从 计算 复杂 性 观点 看 ,这 是 最 佳 选 择 。 
2) L< MM, 这 种 情况 具有 降低 处 惠 时 延 的 好 处 ， 此 外 ,由 于 块 长 度 小 于 滤波 器 长 度 ,此 时 
还 有 自 适 应 滤波 算法 计算 效率 优 于 传统 LMS 算法 的 优点 。 

3) L> 导 , 会 产生 自 适 应 过 程 的 元 余 运算 ,因为 此 时 梯度 向 量 的 估计 使 用 了 比 滤波 右 本 身 
更 多 的 信息 。 

此 后 ,我 们 将 注意 力 限 于 了 = 好 的 情况 , 它 是 大 多 数 实际 应 用 中 人 人 们 更 喜欢 的 一 种 块 自 


当 我 们 谈 到 计算 复杂 性 时 , 指 的 是 快速 傅 里 时 变换 的 次 数 和 块 LMS 滤波 器 频 域 实现 所 知 
要 的 每 一 个 变换 的 大 小 中 。 其 实现 方法 将 在 下 夯 讨 论 。 


7.2 快速 块 LMS 算法 


络 定 一 个 能 用 块 LMS 算法 给 出 满意 解决 方案 的 自 适应 信和 号 处 理应 用 ,关键 问题 就 在 于 如 
何以 计算 上 有 效 的 方式 实现 该 算法 。 参 考 式 (7.5) 和 式 (7.9)( 由 该 式 可 见 块 LMS 算法 的 计算 
负担 ) ,我 们 观察 到 如 下 情况 ， 


@ 式 (7.5) 定 义 了 滤波 器 抽 头 输 人 信和 号 与 抽 头 权 值 的 线性 卷 积 。 
e 式 (7.9) 定 义 了 滤波 器 抽 头 输入 信 生 与 误差 信号 的 线性 相关 。 


根据 数字 信号 处 理 理论 可 知 ,快速 博 里 时 变换 (FFT,fast Fourier transform) 算 法 为 快速 卷 积 和 快 
速 相 关 运 算 提 供 了 强 有 力 的 工具 (Oppenheim & Schafer,1989)。 这 些 观 察 结果 表明 块 LMS 算法 
的 有 效 实现 方法 。 具 体 来 说 ,不 像 前 一 节 在 时 域 执行 自 适 应 那样 ,此 处 实际 上 是 利用 FFT 算法 
在 频 域 上 完成 滤波 器 系数 的 自 适应 。 这 样 实现 的 块 LMS 算法 称 为 快速 块 LMS 算法 (fast block 
LMS algorithm) , 它 由 Clark 等 (1981,1983) 和 Ferrara(1980) 各 自 独立 提出 。 

根据 数字 信和 号 处 理 理论 ,我们 还 可 以 知道 重 杰 存 鱼 方法 和 重要 相 加 方法 为 快速 卷 积 运算 
提供 了 两 种 高 效 方 法 , 即 利用 离散 傅 里 时 变换 (Oppenheim & Schafer, 1989) 计 算 线性 卷 积 。 重 
全 存储 方法 是 非 自 适应 滤波 的 两 种 方法 中 更 常用 的 一 种 方法 。 此 外 ,值得 注意 的 是 ,尽管 滤波 
器 能 够 以 任意 数量 的 重 答 来 实现 ,但 当 50% 重 登 时 (例如 , 块 的 大 小 等 于 权 值 个 数 时 ) 运 算 效 
率 达 到 最 高 。 此 后 ,我 们 将 重点 讨论 50% RR BERSERK. 








® Benesty 2 (2001) 46 Hh — iP RFA VER FP EEF EE, TG AA T: 
。 抉 大 小 的 选择 独立 于 自 适应 滤波 器 的 长 度 ; 
， 用 于 这 个 理论 的 各 种 过 近 导 致 决 速 块 LM5 RER TARR LMS 滤波 器 以 及 多 时 延 自 送 应 洪波 器 ; 
， 其 中 的 某 些 结构 可 推广 到 凶 售 道 的 情况 。 

@ Sommen 和 Javasinghe(1988) ,描述 了 重要 相 加 方法 的 一 种 简化 形式 ,节省 了 了 其 个 DFT 结构 。 
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WEERT A, KREA M 个 抽 头 权 值 用 等 个 数 的 零 来 填补 ,并 采用 N A FFT 进行 
计算 ,其 中 
N=2M 
因此 ,Nx 1 的 向 量 
Wik) = FET| e | (7.16) 
表示 FET 补 零 后 的 系数 , 抽 头 权 向 量 为 w(k)。 其 中 ,0 是 Mx | Sj, FFT] J Ra E 
Ha. PEEKE AN Te WC A Tw KERA. ANH > 
U(k) = diag {FFT [u(kM - M),...,u(KM — 1), u(kM),... u(kM + M- 1))} 
(k — 1) 所 HK He 
BARN HS hat A Ba BS PA AR FR ET EE ETS BY ON x NOTA. FRR AT A — 
4p thi) te SAS Ek) EB SR TTT AT BR SR FR 7.17) OE 
Hed. RK ,将 重 亚 存储 方法 应 用 于 式 (7.5) 的 线性 卷 积 中 ,得 到 M x1 向 量 
yik) = [yikM)] yikM + 1),...,9(KM + M — 1)] 
= IFFT[U(A)W(k) | 的 量 后 好 个 元 素 
其 中 TFT[] 表 示 傅 里 叶 反 变换 。 式 (7.18) 中 只 有 最 后 M 个 元 素 被 保留 ,这 是 因为 最 前 的 于 个 
FOR EH SRR 
TARER 9) MAE. HTA kk ENX 好 xl 期望 响应 向 量 
d(k) = [d(kM), d(kM +1),...,.d(kM+™M-1))7 (7.19) 
及 相应 的 M x 1 ERS HE 
e(k) = [e(kM),e(kM + 1), el(kM + M- YF 
— d(k} 一 y{k) 
如 果 注 意 到 ,在 式 (7.18) 所 述 线性 卷 积 实现 中 ,开始 的 型 个 元 素 已 从 输出 中 废弃 掉 , 则 可 将 误 
差 信号 向 量 e( 上 ) 迹 换 到 频 域 , 即 








(7.17) 


(7.18) 


(7.20) 


E(k) = erT 8 | (7.21) 


由 于 线性 相关 实际 上 就 是 线性 卷 积 的 一 种 “翻转 ?形式 ,因此 将 重 堆 存储 方法 应 用 于 式 (7.9) 所 
示 的 线性 相关 ,可 得 
dik) = IFFT U" E(k) 的 最 前 M 个 元 过 (7.22) 

AB HE, RERC7.1S RRS RAR PRR RB M POUR BAER 
(7.220008 FO SRR M PICK. 

最 后 ,考虑 滤波 器 抽 头 权 向 量 更 新 过 程 的 式 (7,8) ,注意 到 式 (7.16) 所 示 的 频 域 权 向 量 
窗 ( 有 定义 中 时 域 权 商量 W() 后 面 跟 着 M 个 零 元 素 , 因 此 可 将 式 (7.8) 变 换 为 如 下 频 域 表达 
式 





Wik + 1) = Wk) 十 aret| ee | (7.23) 
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JATK(7. 16) 230 (7.23), ASABE A Te MRR LMS 算法 ,图 7.3 给 出 了 快速 块 LMS 
REM (A SME (Shynk, 1992). eh SA AF a HAR Tik LMS Bee ARSC. He, Hue 
ATESA 7.1 节 所 讨论 的 块 LMS 算法 一 样 。 


输出 


输入 
utn) yin) 

















图 7.3 EAT FANA ETEA E EARR EAKA EBEA) 


7.2.1 计算 复杂 性 


现 将 运行 在 频 域 的 快速 块 LMS 算法 的 计算 复杂 性 与 运行 在 时 域 的 传统 LMS 算法 的 计算 
复杂 性 进行 比较 。 以 块 长 度 为 形 时 两 种 实现 各 自 涉及 的 总 乘法 次 数 为 基础 进行 比较 。 虽 然 
在 实际 实现 中 存在 其 他 要 考虑 的 因素 (例如 加 法 次 数 和 存储 此 求 等 ) ,但 使 用 乘法 次 数 为 比较 
责 个 算法 的 计算 复杂 性 提供 了 一 个 合理 准确 的 基础 - 

首先 考虑 具有 好 个 实数 据 抽 头 权 值 的 传统 LMS 算法 。 这 种 情况 下 ,每 计算 一 个 输出 需 
By 次 乘法 ,而 更 新 一 次 抽 头 权 值 还 需要 MORK MAKER RHR 2M ORE. A 
此 ,对 于 晰 个 输出 样 值 , 所 需要 的 乘法 次 数 总 共 为 24 次 。 

现在 考虑 快速 块 LMS 算法 。 每 个 N 点 FFT( 或 FFT) 需 要 约 N log, N 次 实数 乘法 运算 
(Oppenheim & Schafer,1989) ,其 中 N =2M。 根据 图 7.3 所 示 的 快速 其 LMS 算法 的 结构 ,要 执 
行 5 次 频率 变换 ,因此 共计 5w log, N 次 乘法 。 此 外 ,计算 频 域 输出 向 量 沉 要 4w 次 乘法 ,计算 
与 梯度 向 量 估计 有 关 的 互相 关 运 算 也 需要 4N 次 乘法 。 因 此 ,快速 块 LMS 算法 总 共 需 要 的 乘 
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法 次 数 为 
SN log: N + BN = 10M log (2M) + 16M 
= 10M log M + 26M 


因此 ,快速 块 JIMS 算法 与 传统 LMS 算法 的 复杂 度 比 为 (Shynk,1992) 
BREIE 二 LOM log M + 20M 
2M 
Slog; M + 13 
= 
BAN, SM = 1024 时 ,利用 这 个 公式 计算 结果 表明 ,快速 块 LMS 算法 比 传统 LMS 算法 在 计算 
方面 快 15 倍 左右 。 


7.2.2 Fm eis 


实际 上 ,快速 块 LMS FEER LMS BAP RS, AS A 
BAC a EE , BLT HC ae R PE PE EP a EL RAE, SRT, GRR LMS WOE Ae oe 
率 可 以 在 不 影响 最 小 均 方 误差 条 件 下 通过 对 每 个 可 调 权 值 赋予 不 同 的 步 长 来 获得 改善 (Som- 
men et al. , 1987; Lee & Un,1989)。 特 别 地 ,在 快速 块 LMS 算法 中 采用 重 登 存储 方法 ,不 仅 能 够 
降低 执行 时 的 计算 复杂 性 ,而且 可 以 为 改善 快速 块 LMS 算法 的 收 敦 速率 提供 一 个 实际 的 基 
础 。 这 个 改善 可 通过 跨 频 率 柜 (bin) 补 偿 平 均 信 号 功率 的 变化 量 来 获得 。 具 体 来 说 ,就 是 使 所 
有 的 自 适 应 处 理 模 式 具 有 相同 的 收敛 速率 ,这 可 通过 对 每 个 权 值 赋予 各 自 的 步 长 参数 来 达到 ， 
该 步 长 参数 定义 为 





m= i=Dl..,2M-1 (7.24) 


其 中 a 是 个 常数 , P 是 第 ; 个 频率 柜 的 平均 功率 估计 。 注 意 , 由 于 实 信和 导 在 频 域 具有 对 称 性 ， 
式 (7.24) 中 已 RAM MART. 

当 快速 块 LMS 算法 运行 的 环境 为 广义 平稳 时 , 式 (7.24) 的 条 件 可 以 应 用 。 然 而 , 当 运 行 
环境 为 非 平稳 时 ,或 者 当 每 个 频率 柜 的 平均 输入 功率 估 值 无 法 得 到 时 ,就 要 采用 以 下 简单 的 递 
归 方式 来 估计 快速 块 LMS 算法 的 性 能 (Griffiths, 1978; Shynk ,1992) 

P(k) = yYPKE -1)+ 1 -yu i=01,...,2M—1 (7.25) 
其 中 , U, (8) 是 时 刻 加 到 快速 抉 LMS 算法 第 i 个 权 值 的 输入 信和 号 ,7 是 一 个 取 值 范围 为 
0< y< 1 的 常数 ,而 参数 y 是 一 个 遗忘 因子 ,用 来 控制 上 式 选 代 过 程 的 有 效 “ 记 忆 ”。 特 别 地 ， 
将 输入 功率 P,(%) 表 示 为 输入 信号 幅度 平方 的 加 权 指 数 和 形式 


P(k) = (1-7) 之 YI -p (7.26) 


于 是 , 当 已 知 第 个 频率 柜 的 平均 信号 功率 估 值 P.(%) 时 ,依据 式 (7.24), 步 长 参数 六 可 


FAM x MHARE 
Lik) = aD{k) (7.27) 


其 中 
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D(k) = diag[ PRK), PTK) Paya 4) (7.28) 
PAE, REH LMS 算法 可 修改 如 下 (Yerrara,1985; Shynk, 1992): 
1) 在 式 (7.22) 中 ,涉及 互相 关 向 盟 OC A OTL FEAR U” (A VEC KR) HA DC RU" (A) ECR) 
来 代替 ,从 而 得 到 
中 (k) = IFFT [D(k)U* (k )E(k) | iid M 个 元 素 (7.29) 
2) 在 式 (7.23) 中 ,py 用 常数 a RE: A BURA iat Wk OSL aR 
47.1 总 结 了 上 述 修 改 后 的 快速 块 LMS 算法 (Shynk , 1992). 
R71 基于 重 亚 存 情 分 段 法 的 快速 块 LMS 算法 小 结 (假设 实数 据 情 况 } 


wE: 
W(0} =2Mx 1 FAR 
PO) = 6 A 6, BERRA =0.i,...,24-1 
icS: 
@=Mx1 FAs 
FFT = $2 18 E 
IFFT = 快速 全 里 叶 反 变换 
a= 自 适应 常数 
计算 :对 于 时 个 输 和 人 样 值 的 每 个 新 的 数据 块 ,计算 : 
RE 
UC 4) = diag FFT[ uC iM - M), ub kM- 1), uC kM},..., ul kM + M-11]: 
y? (&) =IFFT[ UC RWC) RE MSE 
误差 估计 
etk}= dk) y(E) 
0 
E= FT| 。 
信号 功率 谱 
Pk) =P; (k- 1) 4+ YI UE PP i=0,1,....2M-1 
Dk) = diag] Pg K), PT Ck)... Pid -itk)! 
抽 涉 权 值 自 适 应 


中 [= FFK OUDE JARN 好 个 元 素 
由 


Wk+loWlidea er) 





7.3 FRSA Bis Was ge 


图 7.3 中 信号 流 贺 所 述 的 快速 块 LMS SE) Bh ARE a Be. F 
体 来 说 ,图 中 运行 算法 所 涉及 的 5 个 FFT 中 有 2 个 需要 强加 时 域 约 束 (time-domain constraint) , 
以 便 完成 式 (7.9) 规 定 的 线性 相关 。 时 域 约束 包括 如 下 运算 ， 

e 舍弃 IFFT U Ck)E(E)] 运 算 中 的 最 后 M 个 元 素 , 如 式 (7.22) 所 述 。 

© 在 再 进行 FFT 之 前 将 舍弃 的 元 素 用 一 个 长 度 为 M 的 零 数 据 块 来 代替 ,如 式 (7.23) 所 述 。 
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这 里 所 述 的 一 组 运算 包括 在 图 7.3 的 虚线 框 里; 这 个 运算 组 合 称 汶 梯度 约束 (gradient con- 
staint) ,因为 它 涉 及 计算 梯度 向 量 的 知 值 。 注 意 ,梯度 约束 实际 上 是 一 种 时 域 的 东 , 它 主要 是 为 
了 保证 2M 个 频 域 权 值 与 闻 个 时 域 权 值 一 一 对 点 。 这 就 是 为 什么 一 个 零 数 据 块 添加 在 图 中 
的 梯度 约束 中 的 原因 ， 
在 无 约束 频 咸 自 适应 滤波 器 (Mansour & Gray,1982}) 建 论 中 ,梯度 约束 被 彻 床 从 图 7.3 所 不 
的 信号 流 图 中 去 掉 。 最 后 的 结果 大 只 涉及 3 个 FFT 的 简单 实现 。 因 此 ,快速 鼎 LMS 算法 中 式 
{7,22) 与 式 {7.23) 的 联合 运算 现 被 一 种 简单 得 多 的 算法 
Wik +1) = Wk) + pU{K)E(K) (7,30) 


所 代替 ， 然 而 ,更 值得 注意 的 足 , 此 处 计算 得 到 的 梯度 向 量 估 值 ,不 再 对 应 于 式 {(7.9) 所 规定 的 
线性 相关 , 而 是 一 种 循环 相关 。 

因而 ,我 们 发 现 , 式 (7,30) 所 表示 的 无 约束 频 域 白 适 应 滤波 器 算法 总 体 上 偏离 了 快速 鼎 
LMS 算 法 ,因为 其 抽 头 权 向 量 随 着 块 选 代 次 数 趋 于 无 窃 不 再 收 全 于 维 纳 解 (Sommen et al., 
1987; Lee & Un,1989; Shynk ,1992)。 需 要 注意 的 男 一 点 是 ,尽管 元 约束 频 域 自 适 应 滤波 算法 
的 收敛 速率 随 着 时 变 步 长 的 增 大 而 提高 ,但 其 改善 由 失调 的 恶化 所 消除 。 实 际 上 ,根据 Lee 和 
Un(1989) 的 研究 , 当 产 生 相同 程度 的 失调 时 ,无 约束 算法 需要 两 倍 于 约 东 算法 的 迁 代 次 数 ，。 


7.4 AEZH Bie Ade RK en 


EBM LAS, RYPE 4 RY a H OR BR SB TZ ,如何 利 用 频 域 技术 改 
$ LMS BUH RS BRM. ERK RIS RAPS Bis Ke, Bee 
IMS 算法 收敛 性 的 问题 。 然 而 ,这 种 改善 是 以 增加 计算 复杂 性 为 代价 。 

为 了 便于 讨论 , 设 输 人 信号 向 量 为 aa) ,相关 敌阵 为 R T FRIA F H E AE 
应 滤波 算法 (self-orthogonalizing adaptive filtering algorithm) #75% (Chang, 1971; Cowan, 1987) 

hn +1) = Hn) + aRTu(n)e(n) l (7.31) 


其 中 及-!: 是 相关 矩阵 及 的 道 矩阵 ,e(m) 是 误差 信号 。[ 式 (7.31) 与 牛顿 法 有 关 , 已 在 第 4.6 8 
中 讨论 过 。] 常 数 a 的 取 值 范围 为 0< a < 1, 根 据 Cowan(1987) 的 研究 ,其 值 取 为 
1 
2M 
其 中 W 是 滤波 器 的 长 度 。 式 (7,31) 的 自 正 交 化 滤波 算法 的 一 个 重要 性 质 是 :理论 上 ,不 管 输 
人 信号 的 统计 特性 如 何 , 式 (7.31) 可 保证 其 收敛 速率 为 常数 。 
为 了 证 明 这 个 有 用 的 性 质 , 定 义 加 权 误 差 问 量 为 









































(7.32) 


iad 


efn) = w, 一 w(n) (7.33) 
其 中 权 向 量 w, 是 维 纳 解 。 我 们 可 按照 s(n) 将 式 (7.31) 的 算法 重 写 为 
stn+1)=(-aR un) (n)je(n) ~ aR n(n)eotn) (7.34) 


其 中 工 为 单位 阵 , e, (n) 是 由 维 纳 解 产生 的 误差 信号 的 最 优 值 。 对 式 (7.34) 两 边 取 数 学 期 望 ， 
并 在 假设 a 很 小 的 条 件 下 引用 直接 平均 法 ( 见 第 5.4 节 ) ,可 得 以 下 结 采 
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Ele(n + 1)] saR En (ELe(] — aR 'E[u(m)e,(2)] (7.35) 
据 此 ,在 实数 据 情况 下 ,我 们 可 看 出 以 下 才 点 ，; 
@ 根据 广义 平稳 过 程 的 相关 年 阵 定义 .有 
E[u(n\u’(n)| = R 
@ 恨 据 正 交 性 康 理 , 有 ( 见 第 2.2 1) 


Flutnye,(n)] =) 


因此 ,可 以 将 式 (7.35) 简 化 为 
Ele(n + 1)] = {I~ aR'R)Ele(n)| 





= (1 ~ a)éle(n)] K 
式 (7.36) 是 一 个 自治 一 阶 差分 方程 ,其 解 为 
Ele(n)| = (1 ~ a)"E[e(0)] (7.37) 
其 中 E(0) 是 加权 误差 向 量 的 初始 值 。 因 此 , 当 a 的 取 值 范围 为 0<ac<1 时 ,可 写 出 
lim Ele(n)| = 0 (7.38) 
或 等 效 地 ,有 
lim E|Ww(r)] = wo (7.39) 


H= so 


最 重要 的 是 ,我们 从 式 {7.37) 看 出 , 收 伍 速率 完全 独立 于 输入 信和 号 的 统计 特性 ,正如 前 面 所 指 
出 的 。 

例 2 AREWA 

为 了 说 明 自 正 交 化 自 适应 滤波 算法 的 收 仇 特性 ,考虑 白 嗓 声 输入 的 情况 ,其 相关 扼 阵 定义 
为 


R= of (7.40) 
其 中 go: 是 和 白 品 声 方差 ,I 是 单位 算 阵 。 对 于 这 个 输入 , 当 a =1/2M 时 ,利用 式 (7.31) 得 
Wn + 1) = Hn) 二 了 et (7.41) 
这 个 算法 可 看 做 步 长 参数 p RA 
p= (7.42) 


~ IMP 
WIRA LMS Ak, ROH, STREET RAS 1 所 表征 的 白 嗓 声 序列 这 个 特殊 情 
A,A LMS 算法 以 相同 于 自 正 交 化 自 适应 泪 波 算法 的 方式 表现 出 来 。 

7.4.1 两 级 自 适 应 滤波 器 


最 后 一 个 例子 指出 ,我 们 可 通过 分 两 级 处 理 使 得 任意 环境 下 的 自 正 交 化 自 适应 滤波 器 机 
械 化 (mechanize)[ Narayan et al. ,1983; Cowan & Grant, 1985], BP; 
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DAAH gcn) 变 换 为 个 由 二 不 相 美 变量 组 成 的 对 应 向 量 ; 

2) 将 变换 后 的 向 其 用 做 LMS a A Te] 
根据 附录 玉 关 于 特征 分 析 的 讨论 容易 看 中 ,第 一 自 标 在 理论 上 可 利用 K-L 变换 (KLT, Kar- 
hunen-Loéve transfomm}) 米 实现 .如 给 定 一 个 取 自 某 一 广 闵 平稳 过 程 的 零 均 值 输入 向 量 un), 
当 实 数据 时 KLT 的 第 i 个 输出 定义 为 

vin) = q ula) i=0,1,..,M—1 (7.43) 

EP q 是 与 输 人 向 量 un HR R 的 第 ;个 特征 值 有 关 的 特征 向 量 。KLT 的 各 个 输 
出 都 是 零 均值 的 不 相关 变量 , 即 








à jai 
Blain) = {8 i (7.44) 
因此 ,我 们 可 以 将 KLT 产生 的 M x1 向 量 vi PAKER RR OTE 
A = Elvin)vi(n)| 
(7.45) 


= diag| Ap, Àj 3 Àm- 


A BEREE E AAAA RE, Ep 
AT = diag[agh ay... Aa] (7.46) 


ME, Sea AEP vn) RA AUR Was) 和 入 ”后 式 (7.31) 的 自 
正 交 化 自 适应 滤波 算法 。 在 这 个 新 情况 下 , 式 (7.31) 取 为 如 下 形式 
Win +1) = Wn) + aA vnjeln) (7.47) 


其 第 i 个 元 素 可 写 为 
w(n + 1) = wiln) + ~ wn)eln) i=0l. Mi (7.48) 


注意 式 (7.47} 中 w(n) 的 意义 不 同 于 式 (7.31), 因 为 输 人 向 量 替换 为 变换 的 向 量 v(m)。 
式 (7.48) 显 然 是 LMS 算法 的 归 一 化 形式 ,这 里 的 “ 归 - 一 化 " 意 指 每 个 抽 冻 权 值 都 取 值 为 其 自 号 
的 步 长 参数 , 它 与 原来 的 输入 向 量 un) 的 相关 和 矩阵 所 对 应 的 特征 值 有 关 。 于 是 , 式 (7.48) 解 
决 了 本 节 开 始 提 到 的 第 二 个 问题 。 然 而 ,要 注意 的 是 这 里 描述 的 算法 不 同 于 第 6 章 所 讨论 的 
传统 归 一 化 LMS 算法 。 

KKIT 是 与 信号 特性 有 关 的 变换 ,其 实现 需要 输 人 向 量 相关 和 矩阵 的 估计 该 给 阵 的 对 角 化 以 
及 所 需 的 基 向 量 的 结构 。 这 些 计算 使 得 KLT 无 法 在 实时 应 用 中 使 用 。 所 幸 的 是 ,离散 余 苞 变 
#& (DCT, discrete cosine transfomn) 提 供 了 预先 确定 的 有 关 基 向 量 集 , 它 可 很 好 地 逼近 KLT。 实际 
上 ,对 于 信和 号 处 理 研究 中 足够 通用 的 零 均 值 .一 阶 马 尔 可 夫 平 稳 过 程 , 当 序列 长 度 增加 且 相 邻 
相关 系数 趋 于 1 时 ,DCT HYRET KLT(Rao & Yip,1990); 一 个 随机 过 程 的 相 邻 相关 系数 定 
六 为 单位 延迟 自 相关 函数 与 零 延迟 自 相关 函数 ( 即 均 方 值 ) 之 比 。 既 然 KLT 与 信号 特性 有 关 ， 
而 DCT 与 信号 特性 无 关 , 因 此 DCT 能 够 以 高 计算 效率 实现 。 对 于 某 些 信号 ,DCT BABA 





© Grenander 和 Szegi( 1958} 及 Cmy(1972)。 注 意 ,对 于 高 阶 马 尔 可 去 输 人 信和 号 ,DFT 的 渐进 特征 值 扩 展 比 DCT RAS, 
这 使 DUT 比 DET EHF 天 T。 特 别 对 十 这 种 输入 信和 好 ,DFT 的 源 进 特征 秆 扩展 为 L(1 + pU - 9) J. DET 的 新 
进 特 征 值 扩展 为 (1 + 0), EPF p BATS S AAC RR (Beaufays, 1995aj。 
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很 好 地 逼近 KLT, 

现在 ,我们 备 有 用 来 表示 实际 远近 兼 有 DETA LMS 期 望 特性 的 自 正 交 化 自 适应 滤波 器 所 
禹 要 的 工具 。 图 7.4 显示 这 种 潍 波 器 的 框图 。 访 站 波 如 由 两 级 组 成 ,第 一 级 实现 滑动 DCT È 
法 ,第 二 级 实现 归 一 化 LMS 算法 (Beaufays & Widrow, 1994; Beaufays,1995a)。 实 际 上 ,第 -级 起 
着 一 个 预 处 理 器 的 作用 , 它 以 一 种 近似 的 方式 完成 对 输入 向 量 的 正 交 化 处 理 。 


期 望 响应 
KSAT dn) 








H.-R 第 二 级 
图 7.4 DCT-IMS 算法 的 框图 


7.4.2 滑动 DCT 


对 于 我 们 介绍 的 应 用 ,所 考虑 到 的 DCT 使 用 一 个 滑动 窗口 , 它 对 每 个 新 的 输入 样 值 都 要 
进行 计算 。 因 此 ,这 使 得 LMS 算法 {采用 DCT 后 的 ) 能 够 如 同 传统 方式 那样 以 输入 数据 的 速率 
进行 运算 。 因 此 ,不 像 快速 块 LMS 算法 ,这 里 曾 述 的 频 域 自 适 应 滤波 算法 是 一 种 非 分 块 算法 ， 
因此 在 运算 效率 上 不 如 分 块 算法 。 

根据 傅 里 叶 变 换 理 论 , 偶 函 数 的 离散 健 里 叶 变换 导致 离散 余弦 变换 。 利 用 这 个 简单 性 质 ,可 以 
导出 一 种 守 算 福 动 DCT 的 高 效 算 法 。 为 此 ,考虑 一 个 有 M 个 样 值 的 序列 a(n), sa-1 
ulna -型 + 也。 我 们 可 构造 一 个 扩展 序列 ai) ERTA n- M+ 1/2 其 有 如 下 对 称 性 ( 见 图 7.5) 


a Jeti) i=man-—l,...n-M+1 
ada fO a 二 
为 了 表达 方便 , 定 六 
fen 
Wry = exp(- 4 (7.50) 
在 第 n 时刻 , 式 {7.49) 的 扩展 序列 的 2 开 点 DFT 的 第 m 个 元 素 定 义 为 
Amin) = > OLE: ie (7.51) 


i=n— IM+ 
ali) 
uln) 


n-2M+ 1 下 一 及 n-Ms+l n 


图 7.5 扩展 序列 a(i) 的 构造 
将 式 (7.49) 代 人 式 (7.51) ,可 以 写 出 
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A n-M 
Aan) = D OWES E awa” 
=n- M +l i=n-2M +i 
ñ n— M 
= (W + D ufi t 2n- 2M + Wo (7.52) 
f=n-M+1 ima-2M+1 


= D WHI Sawyer) 
f=n-M+1 


i=n—-M+1 


提出 公 因子 Vi ,并 合并 两 个 和 式 , 则 上 式 可 重新 定义 为 


ai 
A,, (7) = Wt 1/2) 5 u(i (W 3 和 M12) 十 Warm 12)) 


i=H-M+1 
a S B > (7.53) 
= 2(-1)" Wyn? 5 uti) cos R) 
i=n-M+1 


式 中 ,最 后 一 行 利用 了 本 vv 的 定义 和 余弦 国 数 的 尤 拉 (Euler) 会 式 。 除 了 比例 因子 外 , 式 (7.53) 
中 的 和 式 就 是 n 时 刻 序 列 w(n) 的 DCT, BB 





n _ M -1/2 
Cult) = ka > u(i) cos( 7 — / z) (7.54) 
i=n-M+1 
其 中 常数 ka 为 
_ 1/v2 m= 0 
Km | 1 其 他 (7,55) 
AUE, HSE TE 7.53) AK (7.54) ,序列 a BY DCT 与 扩展 序列 efa)JDFT 之 向 的 关系 为 
C,,(n} = 5 ka-1)” Wii Amin) m=0,1,...,.M-1 (7.56) 
式 (7.52) 给 出 的 扩展 序列 afan) 的 DFT 可 以 看 成 两 个 互补 DFT 之 和 
Anin) = AP) + AP(n) (7.57) 
其 中 
4 È wwe (7.58) 
和 
AM) = DW (7.59) 


ren—M+1 
首先 ,考虑 第 一 个 DFT4% (n). FORE u(n) ADR OR, BE n 时刻 计算 的 DET 重 写 为 如 下 形 
式 


AM(n) =u(n) + Sel) Wap? (7.60) 
i=n— M+l 
其 次 ,根据 式 (7.58) 我 们 注意 到 ,在 = - 1 时刻 计算 的 DFT 的 前 一 个 值 为 


n-1 
AW (n- I= 之 DY 路 
t 


=j- 


， (7.61) 
= (-1)"Wanuln - M) + Wa Swan 


ISHA 
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式 中 最 后 -- 行 的 第 一 项 中 ,我 们 利用 了 如 下 等 式 
Way = eh = (-1)" 
将 式 (7.61) 乘 以 Woy FRR ATE (7.60) AVG, g 
AW (n) = WA — 1) + un} — (-1)"u(n — M) m=O0,1,....M@—-1 (7,62) 
式 (7.62) 是 一 阶 差 分 方程 式 , 当 已 知 前 一 时 刻 的 值 AS Cn - 1) AEM uo Cn) MI AE 
u(n 一 站 ) 时 , 则 式 (7.62) 可 用 来 更 新 44(n) 的 计算 。 
下 面 , 考 嵌 式 (7.59) 定 义 的 第 二 个 DFT4 (na) 的 递归 计算 .对 于 所 有 整数 m, RA 
Woe = 1。 从 而 ,把 样 值 wtn) 所 涉及 的 项 分 离 出 来 ,可 将 这 个 DET 表示 为 如 下 形式 








ARa) = Wagan) + Wag D uw (7.63) 
现在 ,使 用 式 (7.59) 计 算 n- 时刻 的 第 二 个 DFT, 然 后 着 手 分 离 出 含 un - MERT, N 
可 写 出 


五 一 人 
apn -= S awa 
M 


=A 


=wifuin -M)+ Ð wg (7.64) 
rn- Merl 
= (yun M) + E awg” 
i=- M +l 
DE IEE Ae EAEE e SLEE 
AH n) = Wih AWin = 1) + Wiplala) — (1 "u(n - M)) (7.65) 


最 后 ,利用 式 (7.56) , 207.57) , 式 (7. 馈 ) 和 式 (7. 的 ) ,可 构造 出 序列 ul KARRE 
C (nit SHER ,如 图 7.6 所 示 。 该 结 榴 的 简化 基于 以 下 两 点 ; 


o 当前 样 值 xfn) 和 过 去 样 值 uln - M) 所 涉及 的 运算 ,对 计算 离散 情 里 叶 变 换 4。( mn) 和 
49fn) 来 说 是 相同 的 ,从 而 图 7.6 的 前 端 部 分 是 共用 的 。 

图 中 前 向 路 径 上 的 算 子 2 FEU OC -1)", 其 中 8 是 一 个 新 的 参数 ;而 图 中 两 个 反馈 环 
BARKAT: WRL 8。 引 入 这 个 新 参数 的 原因 ,后 面 将 会 简要 说 明 。 


1 
Aun) 


, 







i p 
Sh TAD Wat 


Aen) 


图 7.6 请 动 离散 余弦 变换 的 间接 计算 
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如 图 7.6 所 示 的 离散 时 间 系 统称 为 频 域 取样 滤波 恬 ， 它 呈现 结构 对 称 的 形式 ,这 是 构成 
a PL oH ERE MAES AT BEA Ld AY. 
图 7.6 PARRA ula m 个 DCT 输 出 Can) BAS AR ERIE BAS Fe BB BRO 


l iar) erer (2z) (1 
H,(2) = -一 一 一 一 一 +expl | 一 一 一 一 一 
mlz) Aa aM exp( | i exp IM : ims. E 
= 一 一 上 — expl- z 
M 








i M 
(7.66) 
式 (7.66) 中 的 公共 分 子 , 即 因子 (( - 1)" - 2) ,表示 围绕 2 平面 单位 贺 等 间隔 分 布 的 零点 集 
合 。 这 些 零点 为 





jnm 
an = exp| mr ) m= 0.£1,..., (M1 (7.67) 


式 (7.66) 中 第 一 个 部 分 分 式 有 一 个 位 于 z = exptjmriM) 的 单 极点 ,而 第 二 个 部 分 分 式 有 一 个 
在 z= exp( - 和 mr 时) 的 单 极 点 。 每 一 个 极点 都 与 分 子 上 的 一 个 特殊 替 点 精确 消除 。 其 最 后 
结果 是 图 ?7.6 的 清 波 器 结构 等 效 于 并 行 工 作 的 两 组 罕 带 全 零 滤波 器 ,其 中 每 个 泪 波 器 组 对 应 
于 前 个 DCT 柜 。 图 7.7(a) 显 示 出 由 系数 m=0 和 m=1 表示 的 相 邻 两 个 DOT 柜 相 匹配 的 频 
域 取样 滤波 器 的 频率 响应 ,而 图 7.7(b) 显 示 出 村 =8 柜 时 该 滤波 内 的 脉冲 响应 。 

当 B=1 时 ,此 处 所 述 的 频 域 取样 滤波 玫 处 于 “临界 "稳定 状态 ,这 是 因为 对 于 每 个 DCT 
柜 , 图 7.6 中 两 个 反馈 支 路 的 极点 正好 在 单位 圆 上 ,而 售 人 误差 的 存在 (尽管 很 小 ) 可 能 会 使 这 
些 极点 中 的 一 个 或 多 个 跑 到 单位 殴 外 从 而 导致 系统 不 稳定 。 这 个 问题 可 通过 将 前 向 支 路 的 堆 
点 和 反馈 支 路 的 极点 稍为 往 单 位 固 内 移 一 点 而 得 到 缓解 {Shynk & Widrow, 1986)。 因 此 在 图 
7.6 中 引入 参数 ,0< 8<1。 例 如 , 取 =0.9, 那 么 频 域 取样 滤波 器 转移 函数 (2) IR 
{7.66) 中 各 部 分 分 式 展 开 式 的 所 有 零点 和 极点 都 被 移 到 半径 为 8=0.99 的 贺 上 ,从 而 使 频 域 
取样 滤波 器 的 稳定 性 得 到 保证 ,尽管 并 没有 实现 严格 的 零 极 点 消除 (Shynk,1992)。 


7.4.3 ”特征 值 估计 


在 DCT-LMS 算法 设计 中 ,最 后 剩 下 要 考虑 的 一 个 问题 是 如 何 佑 计 输 入 向量 a(n) 的 相关 
矩阵 及 的 特征 值 。 这 些 特 征 值 定义 了 式 (7.48)LMS 算法 中 用 来 修正 各 权 值 的 步 长 大 小 。 假 设 
产生 输入 向 量 n(n) 的 随机 过 程 是 各 态 历 经 的 ,那么 对 于 实数 据 , 我 们 可 将 其 相关 和 矩阵 R 的 佑 
值 定 六 为 

















Rin) = = Satu (7.68) 


它 称 为 样 值 相 关 和 矩阵 。DCT 系数 提供 了 Mx 型 矩阵 QQ 的 一 种 近似 ,该 矩阵 的 列 向 量 表示 了 相 
关 和 矩阵 也 的 特征 值 所 对 应 的 特征 向 量 。 如 用 售 表示 这 个 近似 矩阵 , 则 DCT 所 产生 的 输出 向 量 
Con), CC) ey Cy Ce) FARA TH BE ue ORB 
(n) = [Coln), Gln), Cu ale}! 
= Quin) 
此 外 ,根据 式 (7,68) 和 式 (7.69) , DCT 所 实现 的 正 交 变换 可 近似 表示 为 如 下 形式 


(7.69) 


286 


幅度 响应 


脉冲 响应 


0.8 


0.6 


04 





自 适应 滤波 器 原理 










iy el) 


EA Cii 


TT Try e D a S E O a tre ys oot 











MEE k 
(al Sr CRT m Bt A ak EE a A E A BE J 


mle 
十 
$ 口 O 口 a 口 口 


foin) 


HH 





I 


4 7 
= a nai 


hfn) 








(b) PRS Aa CREME E OA fio(m) 与 Ay) 
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A(n) = Riad 
i 2 00 (7.70) 
= SHOR 
等 效 地 ,有 
Âmin) = > m=01,..,M—1 (7.71) 
式 (7.71) 可 写成 如 下 递归 形式 
jn = 二 cm +2 Sea 
i | (1.72) 
= = Chin) + Chii) 
n n—1 a 
根据 式 (7.71) 的 定义 ,我 们 有 
inin —1) =< Siena 





Ann) = Agta — 1) + (Chm) = An = 1)) 7.73) 
式 (7.73) 适 用 于 广义 平稳 情况 。 为 了 说 明 非 平稳 条 件 下 自 适应 洪波 运行 情况 ,将 递归 方 
程 (7.73) 修 正 为 (Chao et al. , 1990) 
inln) = yay — 1) +2(CEm) -Ya-D) m= OTe Ml (7.74) 
其 中 y 是 遗忘 因子 (forgeting factor), 其 取 值 范围 为 0 < y < 1。 式 (7.74) 是 人 们 所 期 望 的 递归 
计算 输入 向 基 u( n) 相 关 算 降 特征 值 的 表达 式 。 
7.4.4 DCT-LMS 算法 总 结 


至 此 ,容易 总 结 出 计算 DCT-LMS 算法 中 所 涉及 的 步骤 。 在 表 7.2 中 总 结 出 这 些 步 骤 , 它 
由 图 7.6 以 及 式 (7.48)、 式 (7.74) 、 式 (7.62) 和 式 (7.65) 得 出 。 
7.2 DCT-LMS 算法 小 结 
初始 化 : 


对 下 =01 .有 -1 令 
AW (0) = AN? (0) =0 


4,,(0} =0 

wv, (0) = 人 0 
i -人 m=O 
” 其 他 


o o o aaa a aua uaua uaua Maaaaaamaccccccscsssasaauautl—t 
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ER) 
人 参数 选择 : 
oll 
2M 
R=0.9 
DO<Y<l 
Ya) DCT: 


X m=0,1,....4-1 iM a=1,2,...,8 
AY? Cm) = RIA Cn - lL) ttn) H(t) "ule M) 
AG (Cn) = BFAD Cn -1) 4+ Wa Cul ad pi Luta- MY 
An (a= AM Cal + AG n) 
Cn) = hn — DOMIGA a) 
其 中 FreD 
Fan = eq| EF) 
LMS 算法 
M-1 
yin) = ` GC, On imin) 
m=O 
etn)= dtn}— yin) 


Xa) = Ma) + (ER (n) - wh, (n-1)) 


Wain +l) S wan} +—2—C,(a) e(a) 


Ait A BA a, (n+ OET, BE RB LMS BTR. TAERA ERER ERETTE, BR 
HUE A, (Cn) PIN LTR a FMR BASE RRR RM ERA ST RAM 
FAMEAUAR AEH F. Beanfays MUA AGEL fA 1995). 


7.5 自 适应 均衡 的 计算 机 实验 


在 这 个 计算 机 实验 中 ,我 们 重新 考虑 第 5.7 节 所 讨论 的 自 适应 信道 均衡 的 例子 ,该 处 使 用 
传统 LMS 算法 完成 自 适 应 运算 。 这 里 ,我 们 使 用 第 7.4 节 导 出 的 DCT-LMS 算法 (关于 信道 脉 
冲 响应 和 用 于 信道 输入 的 随机 序列 的 细节 ,参见 第 5.7 节 )。 

该 实验 分 为 两 个 部 分 : 

. 第 一 部 分 ,研究 均衡 器 输入 相关 矩阵 不 同 特征 值 扩 散 度 情况 下 DCT-LMS Se BR aS TF 

性 。 

$ 第 二 部 分 ,比较 DCT-LMS 算法 与 传统 LMS 算法 的 瞬 态 特性 。 
在 整个 实验 中 ,信和 有 蝶 比 保持 在 30 dB, BK p ER 0.9, 

实验 1: DCT-LMS 算法 的 姐 恋 行为 

在 图 7.8 中 ,给 出 了 不 同 信 道 参数 W F DCT-LMS 算法 的 集 平均 学 习 曲 线 {不 要 将 用 于 这 
项 实验 的 参数 wy DCT 中 的 参数 WB). SRM RNA 更 =2.9.3.1.3.3 和 3.5, 一 个 对 
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M FRIET BEN x{R) =6.0782、11,1238、21.7132 和 46.8216 的 序 州 { 见 表 5.2)。 央 小 结 
果 清 楚 地 表明 ,与 传统 LMS 算法 不 同 ,DCT-TMS 算法 的 集 平 均 瞬 态 特性 对 输入 向 量 nin) 相关 
EE 及 的 特征 值 扩散 情况 不 大 繁 威 。 这 种 期 望 的 特性 是 由 于 用 做 LMS 算法 预 处 理 的 DCT 的 
正 交 妇 一 化 作用 ( 芭 正 交 化 与 妇 一 化 的 缚 合 )。 


{ih [ T T T T smi 











RT PARE kalt) 
É 











10 F 4 
i jw -35 
本 Ngee py aa A A na | W = 33 
We=29 
10 i 1 1 1 weil [ans aL. i 1 
0 50 100 150 200 250 300 350 400 450 500 


BAAR “= 
图 7.8 对 十 不 同 的 特征 值 扩 散 度 y CR) AY DCT-LMS 学 习 曲 线 


实验 2:DCT-LMS 算法 和 其 他 自 适 应 滤波 算法 的 比较 

图 7.9(a) ~ 图 7.9(d) 给 出 了 四 种 不 同 信道 参数 W F DCT-LMS 算法 与 其 他 两 神算 法 [ 传 
统 LMS 算法 和 递归 最 小 二 乘 (RLS) 算 法 ] 的 集 平均 误差 性 能 比较 。 传 统 LMS 算法 的 运行 遵循 
第 5 章 所 讨论 的 理论 ;而 RIS 算 法 的 理论 在 第 9 章 介绍 ,这 里 包含 它 作 为 另 一 种 感 兴趣 的 参考 
框架 。 基 于 图 7.9 给 出 的 结果 ,我 们 观测 到 所 考虑 的 三 种 自 适应 滤波 算法 的 朋 态 特性 如 下 : 


@ 传统 LMS 算法 的 特性 始终 最 差 ,因为 它 表现 出 最 慢 的 收敛 速率 ,对 参数 多 变化 最 敏感 
[从 而 对 特征 值 扩散 庶 x (R) 最 敏 域 ] ,而 且 具 有 最 大 的 额外 均 方 误差 。 

b RIS 算 法 始终 有 最 快 的 收 合 速率 和 最 小 的 额外 均 方 误差 ,而 且 对 特征 值 扩 散 度 yR 
变化 最 不 敏感 。 

o 对 给 定 的 特征 值 扩散 度 y{R),DCT-LMS 算法 的 瞬 态 特性 介 于 传统 LMS 算法 与 RLS 算 
法 之 间 。 然 而 ,更 为 重要 的 是 ,我 们 有 如 下 结果 ， 
(i) 正如 实验 1 所 示 ,DCT-LMS 算法 的 收敛 性 对 特征 值 扩散 度 x(R) 变 化 相对 不 太 敏感 。 
(ii) DCT-LMS 算法 所 产生 的 额外 均 方 误差 远 远 小 于 传统 LM 算法 的 额外 均 方 误差 ,并 

且 非 常 接近 RLS 算法 的 。 


换 名 话说 ,DCT-LMS 算法 的 集 平均 平方 误差 性 能 比 传统 LMS 算法 更 接近 于 RIS 算 法 。 


集 平均 平方 误差 ( 对 数 刻度 ) 
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图 7.9 传统 LMS.DCT-LMS 和 HIS 算 法 的 学 习 曲 线 比 较 
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选 代 次 数 n 
(dy x(R) = 46.8216 


7.9 传统 LMS DCT-LMS 和 RLS 算法 的 学 习 曲 线 比 较 ( 续 ) 
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7.6 子 带 自 适应 滤波 器 


如 同 自 组 织 晶 适应 滤波 占 , 伍 用 基于 LMS 算法 (因为 共 实 现 简 单 ) 的 于 带 和 白 适 应 滤波 器 的 
动 耕 是 为 了 改善 滤波 器 的 收 全 性 能 ， 了 于 带 犁 通 应 滤波 器 以 多 速率 数字 渡 波 器 为 基础 ,多 澡 
率 数 宁 滤波 器 包 合 分 析 和 综合 琴 个 部 分 。 图 7,10{a) 所 示 的 分 析 部 分 包括 两 个 功能 块 ; 
8 分析 滤 波 器 组 tanalysis filter bank) : EARS AT EEA LOE a 
Sy IEE ah eB A A(z), (a)... a RR, BO RA E 
其 输入 信和 号 un SRA a (a RAS A aS NF aS. 
e 抽取 器 组 (bank of decimators); 根 据闻 带 信和 号 的 带宽 都 必须 小 于 整个 频带 信号 uw(n) 带 
宽 , 对 于 带 信 号 进行 下 抽样 (down-sample)。 第 大 个 于 信 {4Lfotd) 抽 取 器 采用 子 带 信号 
u, Ca LA PEAR RTP Sa A 
uy p(n) = mLa) kee dos; be (7.75) 
输入 信号 


mo HAG yin} 
me) PE tet Ln) 


1 Hi(z) sA uy (Lit) 


分 析 被 波 器 。 第 皮 党 


























(a) 分 析 部 分 





conte eee 


输入 
er 输出 信号 
gg) GARRE 
(b) 综合 部 分 


图 7.10 多 速率 数字 滤波 器 





0 MEREKA HEE te Sh Hi APE DB Widow 和 Seams {1985) 普 作 的 图 8.23 中 标 有 ” 离 租 和 傅 里 时 变 

撞 ”的 方 堪 ( 它 表示 一 个 用 预 柱 理 产生 正 交 信号 稚 滤 波 器 } 中 ,我 们 可 得 到 一 个 类 似 于 子 带 自 适应 滤波 此 的 系统 。 
很 明显 ,这 不 是 一 个 真实 的 事情 ,但 它 可 看 属 与 历史 上 感 兴 趣事 件 的 -种 联系 ，。 
霸 而 ,严格 音义 上 讲 , 对 于 子 带 自 适应 涨 波 器 的 研究 工作 可 以 追 漳 到 Kellermannt 1985), Yasukawa 和 Shimadat 1987) . 
Chen 等 f19881 „Gilloire 和 Vetterdi( 1992), Petraglia 种 Minra( 1993) 等 学 者 其 些 早 期 的 论 交 。 Gilloire 和 Vetterli (1982) 
的 论文 专 一 些 研 究 老 认为 是 子 带 自 适应 屹 波 方面 的 开创 性 论文 。 尽 管 这 箭 论 文 并 不 完美 ,但 它 的 思想 是 正确 的 ， 
此 他 关于 子 带 自 适 应 滤波 器 设计 方面 的 论述 包括 de Courville 和 Duhamel( 1998) , Pradhan 和 Reddy( 1999) LAA Farhang- 
Boroujeny( 1998) 的 著作 。 第 7.6 节 所 介绍 的 材料 基于 Pradhan 和 Reddy 的 论文 。 


RIE HOR SHAR MR RRS 203 


抽取 器 得 到 的 仪 仅 是 发 二 在 工 倍数 时 刻 utn) 的 样 值 。 图 7.11 A YO = 2 时 的 抽取 过 程 。 
在 图 7.10(a) 中 小 倍 抽取 器 用 和 副 下 的 箭头 加 抽取 因子 二 来 表示 。 

图 7.]0(a) 所 示 多 速率 数字 滤波 器 分 析 部 分 的 实际 优点 在 于 , 它 能 使 每 个 抽取 信号 
ap) 的 处 理 充 分 利用 第 左 个 抽取 子 带 依 号 的 特殊 性 质 (例如 , 子 带 信 导 的 能 量 级 或 感知 意 
SM) 经 这 个 处 理 过 程 得 到 的 信和 叶 应 用 于 风速 率 数 字 滤 滤器 的 综合 部 分 ,以 便 进 行进 一 步 处 
理 。 

综合 滤波 器 还 包含 如 下 两 个 功能 块 [如 图 7.10 b) ETAR ]: 

o 扩展 器 组 (bank of expanders) :用 来 对 其 备 个 输入 信 叶 进 行 上 抽样 (upr-sample)。 第 天 个 二 

售 扩 展 器 采用 输入 信号 wm (za) 以 产生 如 下 输出 信和 号 
a 如 果 n LARRY 

0 其 他 
图 7.12 表示 工 =2 的 扩展 过 程 。 在 图 7.10(b) 中 ,上 信和 扩展 器 用 朝 上 的 稍 涉 加 上 扩展 因 
于 上 来 表示 。 对 完成 内 插 过 程 来 说 ,每 个 扩展 髓 是 必 不 可 少 的 ;然而 ,也 需要 滤波 髓 将 
扩展 器 中 为 零 的 样 值 转换 为 内 播 样 值 , 丛 而 完成 内 持 操 作 。 为 了 解释 这 个 必要 性 ,根据 
傅立叶 变换 所 固有 的 时 - 频 二 元 性 ,可 以 认为 第 上 个 扩展 器 的 输出 频谱 Vel ) 是 扩展 
器 输入 频谱 {er*) 的 工 信 压 缩 形式 。 特 别 地 ,扩展 器 产生 了 压缩 频谱 的 名 个 图 像 ,从 
而 综合 部 分 需要 滤波 器 来 拙 制 额外 的 图 像 。 

o 综合 滤波 器 组 (synthesis filter bank): 它 由 具有 共同 输出 的 一 组 上 个 数字 滤波 鹃 并 联 组 
成 。 综 合 滤波 器 的 转移 函数 用 Fiir) File). Fi(z) 表 示 , 其 输出 结果 用 a(n) ke 
wo 


t gl) = (7.76) 











(b) 抽取 后 的 序列 


图 7.11 L=2 的 抽取 过 程 
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(b) 扩展 后 的 序列 4 0 2 
图 7.12 上 =? 的 扩 蜂 过 程 


输出 信号 aC ARRAS wtn) 是 由 于 :{1) 在 分 析 部 分 对 抽取 信号 进行 的 外 部 处 
理 ;(2) 混 释 误 差 。 在 我 们 所 讨论 的 范围 内 ,混和 登 意 指 在 抽取 形式 频谱 中 高 频 分 量 呈 现 出 与 低 
频 分 量 一 样 特性 的 现象 。 由 于 分 析 滤波 器 的 非 理 起 特性 所 发 生 的 这 种 现象 也 包括 由 于 抽取 产 
生 了 多 个 副本 所 引起 的 低频 分 量 ( 如 总 ) 滥 人 到 高 频带 (如 HH 或 下 )。 对 于 傣 频 带 信号 ,其 他 
一 些 地 方 出 现 这 一 现象 也 是 可 能 的 。 
A> T(z) 表 示 整 个 多 速率 数字 滤波 器 ( 即 分 析 / 综 合 滤波 器 ) 的 转移 函数 。 假 设 在 分 析 补 波 
髓 输出 信号 不 作 任 何 外 部 处 理 的 条 件 下 ,选择 分 析 滤 波 器 转移 钞 数 h Ca), Hila), Hy, (2) 
FI NSA BER ae OR Fi (2), Fala)’ F (z) UE T(z) PET BE, BP 
T(z) = cz“ (7.77) 


Ao c 是 标量 因子 ,A 是 分 析 滤 波 器 与 综合 滤波 器 级 联 所 引入 的 处 理 时 延 。 当 这 个 条 件 满足 
时 ,就 说 无 混 到 多 速率 滤波 器 具有 理想 重建 特性 {perfect reconstruction property) v 

在 子 带 自 适 应 滤波 中 ,在 多 速率 数字 滤波 器 抽取 器 的 输出 端 进行 误差 信和 号 计算 ,因此 可 借 
助 于 抽取 取样 率 获得 计算 复杂 性 降低 。 此 外 ,通过 精心 设计 近似 满足 理想 重建 条 件 式 (7.77) 
的 分 析 和 综合 滤波 器 ,有 可 能 显著 改善 自 适应 滤波 髓 的 收 合 特性 。 然 而 ,对 于 某 些 应 用 ,例如 
回声 消除 ,对 子 带 自 适应 滤波 器 的 研究 兴趣 主要 集中 于 这 个 应 用 领域 ,处 理 时 延 A 控制 在 某 
一 范围 之 内 是 很 重要 的 ,这 是 一 项 不 易 完 成 的 任务 (Pradhan & Reddy，1999)。 为 了 描述 子 带 滤 
波 器 的 组 成 ,我 们 选择 图 7.13{a) 的 系统 辨识 问题 。 给 定 一 个 具有 长 脉冲 响应 的 未 知 线性 动态 
系统 ,问题 是 设计 LMS 子 带 自 适 应 滤波 髓 来 提供 未 知 系统 的 近似 ,使 得 误差 信号 etn) 的 变化 
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( 即 起 着 期 望 响 应 作用 的 未 知 系统 响应 与 LMS 滤波 荞 实际 响应 之 差 ) 最 小 。 子 带 自 适 应 滤波 
器 完成 多 速率 数字 滤波 器 子 带 中 误差 信号 的 计算 ,两 个 子 带 (L=2) 的 例子 如 图 7.13 所 示 。 特 
别 地 ,由 未 知 系统 H(z) 和 LMS 滤波 器 市 (z) 产 生 的 输出 信和 导 进 行 了 如 下 处 理 :(1) 用 两 对 分 析 
滤波 家 H (M 器 (3) 来 划分 子 常 ;:(2) 进 行 工 = 二 的 抽取 ;(3) 相 减 后 得 到 一 对 误差 信号 etn) 
和 etn)。 接 着 ,这 两 个 误差 信号 再 做 以 下 处 理 :(1) 进 行 =2 的 扩展 ;(2) 通 过 一 对 综合 滤波 
器 进行 滤波 ;{3) 合 并 产生 谋 差 信号 ef nj) ,并 根据 LMS 算法 依次 用 于 调整 白 适 应 滤波 器 的 白 
HER. POERI H (f H GREETIE Ar 所 (2) 的 (7z) 的 选择 满足 理想 重建 条 件 ， 
以 构成 一 个 理想 重建 滤波 器 对 。 






Aa Ae aR ie S 


a 


Wor) 


(a) RHR 


分 析 部 分 


(b) 自 适应 洪波 器 的 子 带 实现 
图 7.13 PS SPP a 


根据 Bellanger 等 (1976) 的 研究 ,可 由 多 相 分 解 (polyphase decomposition) 高 效 地 实现 滤波 器 
组 。 在 子 带 自 适 应 滤波 中 ,可 将 多 想 分 解 用 子 LMS 滤波 器 。 按 照 定义 ,我们 有 


Wiz} = Dr (7.78) 


296 自 适应 滤波 路 原理 


式 中 iw; ho EKEN M 的 LMS 滤波 器 的 脉冲 响应 ,这 里 假设 M 为 偶数 。 将 出 PACE 
和 奇 元 素 分 开 , 并 用 分 解 形 式 将 式 {(7.78} 改 写 为 


Wiz) = Wiz) + ow) (7.79) 
Hm Wop = Wig 
. (M-—23/2 
Wiz)= SS ty yc (7.80) 
k=0 
种 Wap ey = Wat 
a M-22 
Wz)= 2 SM wr” (7.81) 


EZD 
Eia EH A w eA B ER (noble identities? 开辟 了 道路 ,如 图 ?7.14 所 示 。 图 
7.14(a) 的 恒 等 关 系 1 表明 ,转移 图 数 为 Ci) 的 滤波 器 伴随 以 大 倍 舞 取 器 恒 等 于 工 倍 抽取 器 
伴随 以 转移 是 数 为 CG(z) 的 滤波 器 ;图 7,14(b) 的 恒 等 关系 2 表明 ,L 倍 扩 展 器 件 随 以 转移 函数 
HGZ ) 的 滤波 山 但 等 于 转移 耻 数 为 6(z) 的 滤波 器 伴随 以 工 倍 扩 展 器 。 


uin) Gay WO = 各 (D0 





(a) HERE 1 
wi) —4f Ga) LG = tr) (D yin) 
(b) HER 2 


图 7.14 多 速率 系统 的 著名 恒 等 关系 


因此 ,将 雪 相 分 解 和 恒等式 上 应 用 于 图 7.13(b) 的 子 带 自 适应 滤波 器 ,可 将 它 重 建 为 图 
7.15 的 形式 (Pradhan & Reddy,1999)。 这 种 新 的 自 适应 滤波 器 可 分 为 下 列 两 种 方式 号 : 
@ 分 量 x (Cn) xfayseifn 和 x*zafa) 是 输入 信号 uln) 的 子 带 ; 这 些 分 量 导 致 分 析 滤 波 
器 H(z) 和 H(z) 的 输出 信号 。 
et, (2) 0,(2 MATA, BREW 好 /2 ,用 于 图 7.15 ae Mw) 
KE. 
7.6.1 子 带 LMS 自 适应 滤波 算法 
下 面 来 讲述 由 图 7.15 中 两 个 子 带 系统 V GO 认 .(22) 所 表示 的 证 波 器 权 值 的 自 适 应 。 
根据 这 个 图 可 知 ,误差 信和 号 olm H efn) 的 变换 形式 分 别 为 
E\(z) = Fiz) ~ Xul) Wilz) 一 Xio(z)Walz’) (7.82) 


和 





中 ”包括 著名 恒等式 和 密 相 分 解 的 多 如 率 系统 和 滤波 器 组 的 详细 讨论 ,可 矢 见 Vaidynathan( 1993) Mate 
To 图 7.15 中 自 适 应 子 带 滤波 器 的 另 一 个 新 颖 特点 是 相 邻 子 带 之 间 吉 免 使 用 " 互 滤波 器 (eae-iltam) "a Gilloire 和 Vet- 
tedit1992)? 的 著作 已 经 证 明 , 使 用 互 滤波 器 的 子 带 自 适 应 恋恋 器 的 收 葡 性 能 要 劣 于 全 频带 自 适 应 滤波 器。 
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Falz) = ¥2(2) — Xoi(z)W,(z") ~ X22{z)W.(z?) (7.83) 


未 知 系统 ai 


M ARO 








W tz?) 
条 by (ij 
] Fy in) ` 4 
计 fas 
Q Om ma 
gln} 
yn) igs 


C © © l 





图 7.15 著名 的 恒 等 关系 1 应 用 到 图 7. Bb RA RATA ee ee 
注意 LMS 自 适 应 的 形式 ,最 小 化 用 瞬 态 代价 随 数 定义 为 
itn) = $e (n)Pe(n) 
其 中 
e(n} = [en), etn)] 
是 误差 信号 向 量 , 而 卫 是 正定 矩阵 。 如 选择 


则 可 将 瞬 态 代价 函数 写成 如 下 形式 
in) = Z lain) + el) (7.84) 


式 中 权 值 系数 w Me, PREM FARE 五 (z} 和 H,(z) 输 出 所 产生 的 信号 5, (nD) 和 
b,(n) 的 反 向 功率 。 用 来 调整 滤波 器 这 (=) 和 这 ,(z ) 系 数 的 基于 梯度 的 算法 定义 为 
af (7) M 


Wy pl + 1) = ifn) — P om, s(n) k= 0, Len -1 (7.85) 
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av (72) M 
ee eee E 
dW, g (4) 2 (7.86) 


其 中 8, ,(n) da (nd BERRA n BRS WSO WS ERR. thot 
(7.84) tee Bo J nw Cn) MT (now, Cn) HA 


w(t + 1) = nA) H 

















ad (Ht) de, (7) de(n) 
mG ae) (41} Wien) ! aer) iG (7.87) 
和 
oO aq) i aen) 
öt aln) a a e;(4) aii pin) + aer} aw ir) (7.88) 
此 外 ,由 式 (7.82) 和 式 (7.83) 可 导出 如 于 一 组 偷 导数 
i= 1,2 
Bln) E ke 
am, MeN pe lat py (7.89) 
EE E E a 
2 
对 上 式 进行 x ER 
gern) i ] 
ce MAOR a R (7.90) 
ee Oleg mi 
2 
将 式 (7.90) 代 人 式 (7.87) 和 式 (7.88) ,对 于 图 7.15 的 系统 ,可 得 如 下 子 带 LMS 算法 
Wla + 1) = wln) i alæglnjela 一 k) 十 aein) 一 k)] (7.91) 
Wy Am + 1) = ty a(n) + wlore (male — kK) + ae nx n ~ k} (7.92) 


存 式 (7.91} 和 式 {7.92) 中 ,假设 两 个 子 带 的 LMS 算法 结果 相同 ,日 上 = 0,1,..., (1/2) - 1. 

图 7.15 的 两 个 子 带 自 适 应 滤波 器 和 式 (7.91) 和 式 (7.92) 的 相应 LMS 算法 可 容易 地 推广 
到 工 个 子 带 的 一 般 情 况 。 由 此 得 到 的 滤波 器 的 计算 复杂 性 与 全 频带 LMS 滤波 器 的 几乎 一 样 。 
Pradhan 和 Reddy(1999) 介 绍 了 这 种 新 算法 的 收 合 性 ,包括 计算 机 模拟 和 子 带 自 适应 滤波 融 改 
进 的 收 化 性 能 的 证 明 。 


7.7 自 适应 滤波 算法 的 分 类 


利用 本 章 和 和 前 页 两 章 介 绍 的 内 容 , 以 及 某 种 意义 上 后 续 章 节 所 潮 述 的 内 容 , 按 表 7.3 将 线 
性 自 适 应 滤波 算法 分 类 ,将 是 有 益 的 。 在 这 个 表 中 , 自 适 应 滤波 算法 主要 分 为 两 大 类 : 

© 随机 梯度 算法 

9 精确 最 小 二 乘 算法 
随机 梯度 算法 包括 自 正 交 化 算法 作为 子 类 。 在 每 一 种 情况 下 ,算法 的 自由 参数 的 更 新 通过 两 
种 基本 方式 : 
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@ 以 一 个 样 值 一 个 样 值 为 基础 
e 以 一 岳 一 块 为 基础 


表 7.3 线性 自 适 应 滤波 算法 的 分 类 





z= ea 块 更 新 
随机 梯度 LMS,JT -化 LMS, SIRER A e 
e HEZE DOT-LMS GLA SOBAF 
FA LMS 
最 小 -所 RLS RSL 
最 小 二 乘 格 型 


传统 的 LMS 算法 (采用 样 值 更 新 ) ,由 一 化 LMS 算法 、 仿 射 投影 自 拓 应 算法 , 块 LMS 算法 (基于 
块 更 新 ) 都 属于 随机 梯度 算法 。 采 用 “快速 卷 积 的 情 里 叶 变 换 " 为 计算 块 LMS 算法 提供 了 一 种 
有 效 的 方法 。 这 是 采用 栖 里 叶 变 斤 有 上 助 十 完成 线性 自 适 应 滤波 的 一 种 方式 ， 

另 一 种 方式 是 , 傅 里 叶 变 换 在 “ 正 交 性 的 傅 里 叶 变 换 * 中 起 到 -一 种 有 益 的 作用 ,其 例子 可 见 
DCT-LMS 算法 。 具 体 来 说 .离散 余 苞 变换 (DCFT) 提 供 了 一 种 有 逼 近 样 值 正 交集 的 频 束 方法 。 
DCT-LMS 算法 采用 样 值 更 新 的 方法 。 相 反 , 在 Panda 等 (1986) 所 述 自 正 交 上 岂 化 自 适应 滤波 器 
(SOBAF , self-orthogonalizing block-adaptive filter) 中 ,用 在 式 17.31) 中 的 单 样 值 稀 度 估计 被 式 
{7.11) 块 估计 所 替代 。 实 际 上 , 表 7.1 的 算法 可 看 做 30BAF 的 一 种 近似 方式 。 序 列 已 是 输入 
信和 号 向 量 wn) 的 功率 谱 知 计 。 

在 DCT-LMS 算法 中 ,输入 数据 的 自 正 交 性 可 在 频 域 通过 特征 值 分 解 来 近似 。 另 一 方面 . 
在 Go 菠 ths(1977,1978) 的 自 适应 梯度 格 型 (CAL) 算 法 中 ,输入 数据 的 近似 自 正 交 性 在 时 域 通过 
第 3.7 节 和 第 3.8 节 所 述 的 Cholesky 分 解 来 获得 ; CAL 算法 的 推导 将 在 第 12 章 介绍 。 尽 管 
DCT-LMS 算法 和 GAL 算法 以 完全 不 同 的 方法 逼近 输入 数据 的 自 正 交 性 ,但 它们 在 直接 或 间接 
地 对 输入 数据 向 量 相 关 矩阵 及 的 佑 值 强加 托 伯 利兹 结构 方面 是 相似 的 。 男 一 方面 , DCT-LMS 
算法 和 CAL 算法 的 推导 都 源 于 广义 平稳 随机 过 程 理论 ,因为 正如 第 1 章 所 说 明 的 ,随机 过 程 
的 广义 平稳 特性 和 相关 和 矩阵 R 的 托 伯 利 兹 性 质 实际 上 是 相同 的 。 托 伯 利 兹 假设 也 应 用 于 
SOBAF 滤波 。 

表 7.3 也 包含 采用 LMS 算法 实现 的 子 带 自 适应 滤波 ,因此 它 也 列 于 样 值 更 新 类 别 之 下 。 

在 线性 自 适 应 滤波 算法 的 最 小 二 乘 族 (least-squares family) 中 ,其 例证 是 用 样 值 更 新 的 递归 
最 小 二 乘 (RLS) 算 法 (将 在 第 9 章 讲述 ) 和 块 最 小 二 乘 算法 (将 在 第 8 章 介 绍 ) ,输入 数据 的 精确 
正 交 性 在 时 域 中 完成 。 换 名 话说 ,在 这 些 算 法 的 推导 中 不 做 任何 近似 , 据 此 得 到 快速 收 伍 速 率 
和 其 他 一 些 重要 特 作 ,这 些 都 表征 了 自 适应 滤波 的 最 小 二 乘 族 。 


7.8 本 章 小 结 


频 域 自 适应 滤波 技术 提供 了 时 域 LMS 自 送 应 的 一 种 蔡 代 途径 。 基 于 块 自 适应 滤波 思想 
的 快速 块 LMS 算法 为 实现 具有 很 长 记忆 功能 的 自 适应 FIR 滤波 器 提供 了 一 种 计算 上 高 效 的 
方法 。 这 种 算法 充分 利用 了 称 为 重 释 存 储 法 的 快速 卷 积 技术 所 提供 的 计算 优势 , 它 依靠 快速 
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PEERKE., RER LMS 算法 呈现 出 类 似 于 传统 LMS 算法 的 收敛 特性 。 特 别 地 ,其 收 
A Et .失调 利 快速 LMS 算法 的 平均 时 间 常 数 完全 相同 于 传统 LMS 算法 的 对 应 部 分 ， 这 两 
PRE FSR: CR LMS 算法 较 传 统 的 LMS 算法 有 更 紧 的 稳定 界限 ;(2) 快 速 
块 LMS 算法 对 梯度 向 其 提供 了 更 为 精确 的 估计 ,并 日 其 精确 度 随 块 大 小 的 增加 调 提 高 。 遗 憾 
的 是 ,这 种 改善 并 不 意味 着 会 有 昌 快 的 收敛 特性 ,因为 输入 向 量 的 相关 征 阵 的 特征 值 扩 散 度 
( 它 决 定 了 算法 的 政 敏 特性) 与 由 大 小 无 天. 

本 章 讨 论 的 男 一 种 频 域 中 适应 滤波 技术 利用 了 离散 余弦 变换 对 统计 最 优 KL HR A) aE 
等 价 性 关系 。 这 种 DCT-LMS 算法 为 自 正 交 化 自 适 应 滤波 方法 提供 了 一 种 较为 准确 的 近似 ， 
与 快速 块 LMS 算法 不 同 ,DCT-LMS 算法 是 一 种 非 块 的 算法 , 它 以 输入 数据 率 运 行 ; 央 此 其 计算 
效率 不 如 快速 块 LMS 算法 。 

快速 块 LMS 算法 和 DCT-LMS 算法 有 一 个 共同 的 特征 :它们 都 是 基于 卷 积 的 频 域 白 适应 泪 
HHE. EARR, TERS 7.6 节 介 绍 的 子 带 自 适 应 滤波 器 。 采 用 这 种 方法 的 一 个 动机 是 ， 
在 执行 自 适 应 过 程 之 前 通过 抽取 信号 以 提高 计算 效率 。 抽 取 蚌 指 通 过 数字 方法 将 感 兴趣 信和 二 
的 抽取 率 从 给 定 的 速率 蛮 为 更 低速 率 的 过 程 。 这 个 方法 的 使 用 ,使 得 有 可 能 实现 长 记忆 的 
FIR 滤 被 器 ,而 且 有 可 能 提高 计算 效率 。 这 样 ,设计 一 个 单一 的 长 记忆 滤 被 器 的 任务 转变 为 设 
计 一 个 以 低速 案 并 行 工 作 的 简单 滤波 器 组 ， 


7.9 习题 


1. 例 1 RRR A =3 ARK L=3 的 情况 下 块 自 送 应 滤波 髓 的 运算 。 当 由 =56 和 
荆 =4 时 重复 这 个 过 程 。 

2. 这 个 习题 的 目的 在 于 推导 图 7.3 信和 号 流 图 所 描述 的 快速 块 LMS 算法 的 矩阵 形式 。 
(a) 为 了 定义 一 个 构成 该 算法 运算 的 时 域 约 束 , 令 


[ro 

Tis 上 “fl 
其 中 I 是 Mx MASH OF Mx MASE. MUA BARBER Atay 
以 改写 为 如 下 紧 赎 形式 





Wk +1) = W(k) + nGU4(k)W(k) 
APEE G 表示 强加 于 梯度 向 量 计 算 上 的 约束 , 且 定 义 为 
G = FGF” 
其 中 矩阵 算 于 了 表示 离散 传 里 时 变换 ,FT 表示 离散 傅 里 时 反 变 换 。 
(b) 为 了 定义 构成 快速 块 LMS 算法 运算 的 男 一 个 时 域 约束 , 令 
G, = (0,7) 
其 中 I 和 0 SMM eo EASE, AERA (7.21) A RE 
SAF FORE 
E(k) = FG} e(k) 
(co) ERER G, FG, 所 表示 的 时 域 约束 , 试 给 出 快速 块 LMS 算法 每 一 步 的 矩阵 表示 。 


Qà 
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(d) aM G 为 何 值 时 快速 志 LMS 变 为 第 7.3 节 的 无 约束 频 域 自 适 应 恋 波 算法 ? 





. 第 7.3 节 的 无 约束 频 域 自 适应 被 波 算 法 具有 应 用 方面 的 限制 范围 。 人 至少 找 出 一 种 不 受 忽 


上 略图 7.3 中 梯度 约束 影响 的 自 适应 滤波 应 用 ,并 加 以 讨论 ，。 


. 图 P7.1 表 沙 变换 域 LMS 滤波 器 的 框图 (Narayan et al. ,1983)。 抽 头 输入 向 量 u( nn) 首先 加 


旬 一 组 带 通 数 字 泪 波 占 , 心 通过 离散 傅 里 时 变换 (DFT) 来 实现 。 令 xm) 表示 DFT 输出 产生 
的 变换 向 量 。 特 别 地 ,向 量 xm) 的 元 素 丰 可 表示 为 


M1] 
x(n) = Sus 一 De erik 下 一 站 1 一 上 
th 


其 中 n(n - i) SA a(n SS i PCR. B+ x, (n) 对 它 的 平均 功率 估 值 进 
行 归 一 化 。 向 量 x(n) 与 频 域 权 向 量 hta) 的 内 各 构成 如 下 证 滤器 的 输出 
y(n) = h(n)x(n) 
权 向 量 更 新 方程 为 
h(n + 1) = h(n) + uD (nx{n)er(n) 
EP Dn) Mx M HAEE, HE k POL RAR DET 输出 x(n ER A =0,1,..., 
M-IsPP RDB m e 为 自 适 应 常数 。 如 常 Ree 
e(n) = d(n) — y(n) 


其 中 d(n) 是 期 望 响应 。 


一 






1— 2 
1 -- el ri -1 





l-z™ 
1 一 ER tiz-1 


ma 一 一 一 一 一 一 一 一 心 一 一 一 


P7.1 变换 域 LMS 述 波 器 框图 
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(a) 这 证 明 DET 输出 x, (nr) 可 利用 玉 式 递归 计算 
TRY = eMe (no 1) + a(n) — ula M) k=01,..,.M-1 


Ch) 假设 适当 选择 wx , 试 证 明 权 向 量 h(n OO Pb EAE 
h, = Qw, 
并 确定 ORAE, D w, 是 时 域 维 纳 解 ,而 日 是 出 DFT MSE. 
(c) 当 控 制 应 用 于 频 域 权 向 量 调整 量 时 ,和 矩阵 D7 以 及 DET 的 使 用 对 预 占 化 (prewhitening) 
RUHR Te a u(rn) 有 具有 近似 的 影响 。 试 做 如 下 事情 : 
(i 验证 预 白化 效应 ; 
Gi) 讨论 如 何 对 DFT 输出 向 量 x(n) 的 特征 值 扩 展 进行 预 白化 条 峭 ; 
Gi) 转换 域 LMS 算法 比 传统 LMS 算法 其 有 更 快 的 收 化 速率. 为什么? 
. 序列 e MRR RRE Cao A 


1 ，， 
Cain) = 7 Ki Coe ln) + Citn] 








其 中 ka FARA 55) Mo 
(a) 证明 CO (nM CCn) 可 分 别 递 归 计 算 为 
CHin) = WHF WED — 1) + (lun) — ula — M)] 
和 
C2(n) = Woe? lwg Cin — 1) + (-1)"u(n) — uia- M)] 


其 中 


(b) 如 何 分 别 在 图 7.6 Me RRA RRR ASRS z“ 及 z ARKEA ATE 
C,, (a) Te CA O< 8 <1)? 

. 图 7.15 BUF AP ae BT Ge eR 1 从 图 7.13 0b) PO a a 

导出 。 

. 式 (7.91) 和 式 (7.92) 所 述 的 子 带 LMS 算法 是 应 用 于 实数 据 的 。 试 将 该 算法 推广 到 复数 据 。 

, 式 (7.91) 和 式 (7.92) 所 述 的 子 带 自 适应 滤波 器 使 用 传统 LMS 算法 。 利 用 归 一 化 LMS 算法 

重新 表示 这 两 个 式 子 ,并 说 明 这 种 表示 有 什么 优点 。 








第 8 章 最 小 二 乘法 


在 这 一 章 中 ,我们 将 利用 最 小 二 乘法 (method of least squares) 解 决 线 性 滤波 问题 ,这 种 上 方法 
不 需要 对 补 波 髓 输入 信号 的 统计 特性 进行 假设 。 为 了 说 明 最 小 民 先 法 的 基本 思想 ,假定 有 一 
组 实数 据 ef ,u(2),...,u0%) EADAR stots NA). 要求 构 造 一 条 曲线 ,这 茶 
曲线 能 够 以 茶 种 最 优 方式 拟 合 这 些 数据 成 。 现 用 fC, deo RAR 与 时 间 的 函数 关系 ， 根 
据 最 小 二 乘法 “最 优 " 拟 合 是 使 4) 与 x (站,i=1,2,...,! N 之 差 的 平方 和 最 小 。 

最 小 二 胰 法 可 看 成 维 纳 滤波 器 理论 的 另 一 种 表示 方法 。 本 质 上 , 维 纳 滤波 器 是 从 集 平均 导出 
的 ,其 结果 是 一 种 统计 意义 上 最 优 的 在 各 种 现实 运行 坏 境 下 获得 的 滤波 器 ; 计 假 定 该 滤波 胡 所 处 
的 环境 是 广义 平稳 的 。 另 一 方面 ,最 小 二 乘法 是 确定 性 的 。 县 体 来 说 ,由 于 它 涉 及 使 用 时 间 平 均 ， 
故 其 滤波 结果 取决 于 计算 中 所 用 的 样本 数 。 在 计算 过 程 中 ,最 小 一 乘法 是 一 种 批 处 理 方 法 ,因为 最 
小 二 乘 滤 流 器 用 来 处 理 一 批 输 入 数据 ( 即 数据 块 )。 这 种 滤波 器 通过 一 个 数据 块 接 一 个 数据 块 的 重 
复 计 算 来 适应 非 平 稳 数 据 。 因 此 其 运算 量 比 递 时 最 小 二 乘法 贰 多 得 多 。 不 过 ,由 于 计算 能 力 已 不 
再 像 以 前 那样 成 为 这 种 方法 的 障碍 ,所 以 ,这 种 批 处 理 方法 正在 变 得 越 来 越 具 有 吸引 力 。 

我 们 从 概述 最 小 二 乘 估计 问题 的 存在 性 开始 ,对 这 一 方法 进行 讨论 。 


8.1 线性 最 小 二 乘 估计 问题 


考虑 某 一 物理 现象 , 它 可 以 用 两 组 变量 di) Ae RE. ER dCi) dk i 时刻 观 测 到 
的 响应 ,此 时 加 在 滤波 器 输入 端的 是 变量 u(i) ui-1),...,u0i-M+ DARTH. hm 
EW, d DÆMA uli)uGi-D,..., uli- M+ DRAR., EARRA AEREN, FFB. 
响应 da{ 门 可 建 模 为 


M-i 
dli) = S wiuli — k) + eli) (8.1) 
£=0 


其 中 wo, 是 模型 的 未 知 参 数 ,e, (站 表示 测量 误差 ,并 用 这 个 量 来 猫 述 该 物理 现象 的 统计 特性 。 
式 (8.1) 中 求 和 项 的 每 一 项 都 表示 标量 的 内 积 。 实 际 上 , 式 (8.1) 表 示 的 模型 说 明 , 除 误差 
e (fi 外 的 变量 d (让 可 由 输入 变量 uli, uli -1),...,uCi- M+) RATER ARR E 该 
模型 称 为 多 重 线 性 回归 模型 ,其 信号 流 图 如 图 8.1 所 示 ( 多 重 线性 回归 模型 用 于 第 5 章 和 第 6 
章 以 产生 LMS 算法 所 需要 的 观测 数据 )。 

测量 误差 e,(i) 是 不 可 测 的 随机 信号 , 它 用 来 说 明 模型 的 不 精确 程度 。 习 惯 上 ,认为 测量 
REDE c, (i) BAW OER o HARE, Bl 

Ele,{i)}=0 ”对 所 有 i 

和 


2 ; 一 天 
Ele,(det(k)] = fo : #k 
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图 8.1 #AH BARR 
这 个 假设 隐 含 意味 着 我 们 可 用 集 平均 的 形式 将 式 (8.,1) 改 写 为 


M1 
Elati}| = 2 wauli — k) 


HH u(i),w(i-i),..., xi- 彤 + 全 的 值 是 已 知 的 ( 即 确 定性 的 )。 因 此 , 啊 应 4d( 让 的 均值 
理论 上 由 模型 惟一 确定 。 

我 们 必须 解决 的 问题 是 ,在 给 定 两 个 可 测 变 量 集 (A d(i),i=1,2,...,.N 的 情况 下 ， 
估计 图 8.! 所 示 的 多 重 线性 回归 模型 的 未 知 参数 wu。 为 此 ,假定 采用 图 8.2 所 示 的 线性 横向 
滤波 器 作为 该 问题 的 模型 。 通 过 组 成 抽 头 输入 uli uli- 1)... u(i- M4 1)5 Fahy BO 
PUA wo, wis., wy ZAHAR, FH d DEARER RATT RRS cE 
尽 为 期 望 响应 dO) AR y 六 之 间 的 差 值 , 即 


eli) = a(i) — y(i) (8.2) 
其 中 
M-i 
yli) = X whuli — k) (8.3) 
， k=0 
将 式 (8.3) 代 人 式 (8.2) 可 得 
M-i 
e(i) = d(i) - Sti 一 天 (8.4) 


CER) Ih, BENE A HHS A EE ERE A AR BR 
Ur PE A 
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Eltos -p Waa) = > ewe (8.5) 


其 中 站 和 评定 义 了 守 的 取 值 范围 ,我 们 在 这 一 范围 内 考虑 使 误差 最 小 化 , 式 中 的 和 也 可 看 成 
误差 能 量 。i Mi, 的 取 值 取决 于 数据 升 窗 的 情况 ,该 内 容 将 在 第 8.2 节 中 讨论 。 总 的 说 来 ， 
我 们 要 解决 的 问题 就 是 将 式 (8.4) 代 人 人 式 {8.5) ,然后 使 得 到 的 代价 函数 (wo，,..….， wy, AAMT 
Pia RR as CS 8.2 RA, SR eR A) BI bay, 
滤波 器 的 抽 头 权 值 wo, wi ,...， wy i cist, 的 间隔 内 保持 不 安 。 最 小 化 结果 得 到 的 滤波 
器 叫做 线性 最 小 二 乘 丐 波 部 。 


输入 


uli — 1) 


u{i— M + 1) 





图 8.2 RPE RRR aT 


8.2 数据 开 窗 


假定 图 8.2 中 横向 滤波 器 模型 所 用 的 抽 头 权 值 共有 Mh (8.5) 89 i A i, Z 
值 ,出 输入 数据 zl ,af2) .uaN) 构 成 的 矩阵 可 以 有 不 同 的 形式 。 比 较 典 型 的 数据 开 窗 
(data windowing) 方 法 有 四 种 ; 

1) 协 方 差 法 (eovariance method) 这 种 方法 对 时 间 段 [1, NW] 之 外 的 数据 不 做 假设 。 因 此 ， 

hae YR PRI i, = M Pi, = 访 可 以 将 输入 数据 用 矩阵 表示 为 


u( M) u(M +1) e uN) 
u(M 一 1) uM) SE uN : 1) 
u(1) . u(2) | Ze uN M+1) 


2) 自 相 关 法 (autocorelation method) 这 种 方法 假定 时 间 i = 1 之 前 以 及 i= VN 之 后 的 数据 
0, BUR i = 1H i= N+ 且 -1, 于 是 输入 数据 的 矩 阵 形式 为 
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u{l} u(2) - uM ) uM+1) oe ut) 0 e 0 
0 u(1) 和 ulM —1) u( M) 7 uN - 1) ul N) e 0 
0 0 .. u(1) u(2) . ulN -M+1) ul N — M) ... uN) 


3) 前 开 窗 法 (prewindowing method) ”这 种 方法 将 i = 1 HTS A Re BEA 0, {HT 
i= 克之 后 的 数据 不 慌 假 设 。 故 取证 =1 和 = 六 ,于 是 输入 数据 的 矩阵 为 


ull) RE --- uta) uM +i) CN 
Oud) u(M-1) u(M) CN — 1) 
0 0 机 u(1) u(2) a uN -M +1) 


4) 后 开 窗 法 (postwindowing method) ”这 种 方法 对 = 1 AAA BHR HK BB, (EHF 
i = NZS WAGE RIES 0 BUR i, = Mi, = N+ 及 -1, 于 是 输入 数据 的 拭 阵 为 


HA ufAf +1) (AN 0 ae Q 
u(M — 1} u( Af) re u(N = 1) u{ N) oe 0 
u{1) u(2) 7 u(N -M+1) uN 一 M) 机 uN) 


“ 协 方差 法 ”和 “ 自 相关 法 "这 两 个 术语 通常 用 于 语音 处 理 文献 中 {Makhoul, 1975; Markel & 
Gray,1976)。 但 这 两 个 术语 的 应 用 并 不 是 基于 协 方差 沙 数 的 标准 定义 ( 即 作 为 去 除 均 值 的 相 
关 函 数 ) 的 。 由 式 (8.5) 家 示 的 性 能 指标 的 最 小 化 可 导出 一 个 方程 组 ,对 该 方程 组 中 已 知 参数 
含义 的 解释 就 是 这 两 个 术语 的 由 来 。 协 方差 法 的 名 称 来 自控 制 论 ,其 中 抽 头 输入 的 均值 为 零 ， 
协 方差 矩阵 的 元 素 可 用 这 些 已 知 参数 表示 。 而 自 相关 法 的 名 称 来 自 上 述 条 件 下 用 已 知 参 数 表 
示 抽 头 输 人 的 短 项 自 相关 函数 。 值 得 注意 的 是 ,在 上 面 所 述 的 四 种 开 徐 方 法 中 ,只 有 自 相关 法 
中 输入 数据 生成 的 相关 矩阵 是 托 伯 利益 (Toeplitz) 矩 阵 。 

在 本 章 的 其 余部 分 ,除了 习题 4 涉及 到 自 相 关 法 外 ,我 们 将 集中 讨论 协 方差 法 ; 预 开 窗 法 
将 在 后 续 章 节 中 讨论 。 


8.3 正 交 性 原理 的 进一步 讨论 


第 2 章 推导 维 纳 (Wiener) 滤 波 理论 时 ,我 们 首先 在 集 平均 意义 上 导出 了 三 义 平 稳 离散 随 
机 过 程 的 正 交 性 原理 ,然后 用 该 原理 导出 维 纳 - 卜 夫 (WienerHopf) 方 程 ,此 方程 是 维 纳 滤波 器 
的 数学 基础 。 本 章 我 们 将 以 类 似 的 方法 进行 讨论 ,首先 在 时 间 平 均 的 基础 上 导出 正 交 性 原理 ， 
然后 应 用 该 原理 导出 方程 组 ( 称 为 正则 方程 ) ,该 方程 组 构成 线性 最 小 平方 滤波 器 的 数学 基础 。 
该 理论 由 协 方差 法 推 学 得 出 。 

协 方差 法 中 的 代价 函数 ,或 者 说 误差 的 平方 和 定义 为 


N 
lwo, Way) = PACO) (8.6) 


按照 式 (8.6) 的 方式 选取 时 标 i 的 范围 ,实际 上 保证 了 对 任意 的 i, 图 8.2 ra BEE a BY 
部 履 个 抽 头 输入 具有 非 零 值 。 正 如 上 面 提 到 的 ,我 们 所 要 解决 的 问题 是 确定 使 误差 平方 和 为 
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最 小 的 横 癌 滤波 器 的 抽 头 权 值 。 为 此 , 先 将 式 (8.6) 改 写 为 


Elig- Wy 1) = > ee") (8.7) 
其 中 估计 误差 e( 癌 由 式 (8.4) 定 义 。 设 第 上 个 抽 头 权 值 用 实 部 和 虚 部 表示 为 
Wy = ay + fy & -0,1,...,éM-—-1 (8.8) 
将 式 (8,8) 代 入 式 {8,4) ,可 得 
M-I 
eli) = d(i) 一 之 人 — jb,)u(i — k) (8.9) 


将 梯度 向 量 W* 的 第 上 个 分 量 定义 为 代价 函数 各 (rw ，.. .ww- 1) 对 抽 涉 权 值 ws 实 部 和 虚 部 的 
导数 

















g , 
vesa (8.10) 
将 式 (8.7) 代 人 式 (8.10), 并 注意 到 估计 误差 c(i) ER PES (oR TEA 
N *f; . AES . 
Wi = Sef) emi BO jo Os e O san 
将 式 (8. 外 9 中 的 c(i) St wi 的 实 部 和 虐 部 求 导 数 ,得 到 以 下 可 个 偏 导 数 
Jeli) _ k 
ja ( ) 
2 u*(i — k) 
(8.12) 
defi) ，， x 
ab, T juli — k) 
将 这 四 个 偏 导数 代 人 人 式 (8.11) , 即 得 
V.€= -2 Sui — k)e*(i) (8.13) 
Fy T PEAR GT PRE (wos... wy_1) 关 于 图 8.2 ABE RE RR SK ARIA tv, ..., ws-1! 最 小 
化 ,要 求 同 时 满足 下 列 条 件 
VE =0 k-0,1,...,4-1 (8.14) 


用 (i) ERRERA. HERI RRE wos.. r toy) RS OR BI AO) POR E 
的 知 计 误差 ee (的 特殊 值 。 从 式 (8.13) 容 易 看 出 , 式 (8.14) 和 表示 的 条 件 等 效 于 下 列 方程 组 


Ş uli — Wetali) = 0 k=-0,1,...,.M-1 (8.15) 


izM 
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式 (8.15) 是 正 交 性 原理 的 脆 时 描述 。 式 {8.15) 左 边 的 时 间 平 均 了 ?, 表 示 上 值 闫 定时 时 间 间 
LM, N]E i RUS A ei = 让) 与 最 小 估计 误差 6, (站 之 间 的 互相 关 。 相 应 地 ,可 以 
将 正 交 性 原理 描述 如 下 : 

在 最 小 二 乘 条 件 下 ,最 小 误差 时 间 序 列 em (站 与 横向 滤波 器 第 上 个 抽 关 上 的 输入 序列 

uli- k) EŽ,k=0,1,...,M-1, M 为 横向 滤波 器 长 度 。 

这 一 原理 为 我 们 检查 横向 滤波 器 是 和 次 工作 在 最 小 二 习 条 件 下 提供 了 简单 的 测试 方法 。 需 
要 确定 的 只 有 个 计 误 差 和 输 人 到 证 波 器 各 个 抽 头 的 时 间 序 列 之 间 的 时 间 平 均 互 相关 。 当 且 仪 
当 村 个 互相 关 函 数 全 都 为 零 时 ,代价 为数 芝 ( io ,..., wy-_1) 才 是 最 小 的 。 


8.3.1 推论 


用 wows... Wy, FEA 8.2 所 示 横 向 滤波 只 在 最 小 二 乘 条 件 下 达到 最 优 时 抽 头 权 值 
Wy Wis.. ww-1 的 取信 。 由 式 (8.3) 可 得 到 该 滤波 器 的 输出 为 


M -l 
yon(i) = 2 okul - k) (8.16) 
这 个 输出 给 出 了 期 望 响 应 dO RRA, E EMRA (i), u(i-1),..., 
zi -上 肛 +1) 的 线性 组 合 , 故 称 此 估计 为 线性 估计 。 用 勾 : 表示 由 (2),...， uli- M+ DER 
的 空间 ,用 dalu eR BESS AU, A d Reh R. FRA 
dli| Ui) = Ynin(2) (8.17) 
或 
本 M-1 
d{i|U;) = 2, whuli — k) (8.18) 


PEK (8 IS) PASE 看 ,然后 在 区 则 [0, 林 -1 上 对 天 求 和 。 通 过 交换 求 和 次 序 ， 
可 以 得 到 
N M-1 
> | > Wut — K) fetal) =0 (8.19) 
i=ML keD 
EÈ 芭 0i 呈 ,左边 方 揪 号 内 的 求 和 项 是 式 (8.18) 玫 示 的 最 小 二 滋 佑 计 。 因 此 ,可 将 式 (8.19) 
简化 为 


S Ali qer li) =0 (8.20) 
i=M 
式 (8.20) 是 对 正 交 性 原理 推论 的 数学 描述 。 由 此 可 见 , 上 式 左边 的 时 间 平 均 是 d(i1;) 与 
ef 有 两 个 时 间 序 列 的 互相 关 。 因 此 ,可 将 正 交 性 原理 的 推论 描述 如 下 : 


当 横 向 滤波 器 在 最 小 二 来 条 件 下 运行 时 ,滤波 器 输出 端 产生 并 用 时 间 序 列 d(i| 纪 ;) 表 示 
的 期 望 响 应 最 小 二 冬 估 值 与 最 小 估计 误差 时 间 序列 cw (iA MR GEER, 


D 为 了 礁 确 应 用 “时 间 平 均 "这 一 术语 ,应 该 在 式 (8.15) 的 左边 除 以 求 和 项 的 兽 数 NWN- M+, 显然 ,这 种 运算 对 等 式 
没有 影响 。 为 了 表示 方便 ,我 们 不 考虑 这 个 比例 因子 。 


第 8 章 最 小 二 来 法 309 
该 推论 的 几何 表示 可 参见 第 8.6 节 。 
8.4 误差 的 最 小 平方 和 


式 (8.15) 给 出 的 正 交 性 原理 描述 了 代价 函数 和 (wo, …, ww_1) 相 对 于 滤波 器 抽 头 权 值 
Wos Wi eves ww-1 取 最 小 值 时 图 8.2 所 示 横 向 滤波 器 的 最 小 二 乘 条 件 。 为 求 出 代价 函数 的 最 
小 值 ,也 就 是 误差 的 最 小 平方 和 ww ,显然 可 以 写 出 





di) = eg) + enni) 
期 望 期 望 响 估 值 误差 (8.21) 
响应 应 的 估 值 
在 区 间 [ 交 ,六 上 计算 时 间 序 列 #0 让 的 能 量 , 并 应 用 正 交 性 原理 的 推论 [ 即 式 (8,20)] 可 得 
Ca = Een + Erun (8.22) 
其 中 
ad 2 
€, = = d(i)| (8.23) 
ta = SIA) (8.24) 
i=M 
Emin = 5 Emil D (8,25) 
i= M 


整理 式 (8.22), 可 用 分 别 在 时 间 序 列 dCi) A d 1.) PARR ERS. 和 能 量 名 。 ,将 误差 的 最 小 平 
方 和 wn 表示 为 
Enn = ba — See (8.26) 

SBR AAA i AERA d), ERG ANARE ,至 于 dU (表示 期 望 响 
应 估计 的 时 间 序 列 ) 中 所 含 能 量 各 的 计算 将 在 下 一 节 讨 论 。 

因为 营 是 非 负 的 ,所 以 式 (8,26) 右 边 的 第 二 项 不 会 超过 划 e。 事 实 上 ,只 有 当 密 重 线性 回 
妇 模 型 (如 图 8.1 所 示 ) 的 测量 误差 e (让 对 所 有 的 i 都 为 零 时 , 式 (8.26) 中 的 第 二 项 才 会 达到 
€: 的 值 ,而 这 种 情况 是 不 可 能 的 。 

另 一 种 情况 是 gu 等 于 gs ,此 时 最 小 二 乘 问题 是 欠 定 的 。 这 种 情况 发 生 在 数据 点 比 大 数 少 
的 情况 下 ,此 时 咎 计 误 差 为 零 从 而 & 也 为 零 。 但 需要 注意 的 是 , 当 最 小 二 乘 问题 为 欠 定 时 ,该 
问题 没有 惟一 解 ( 此 情况 将 在 本 章 的 稍 后 部 分 讨论 )。 


8.5 正则 方程 和 线性 最 小 二 乘 滤波 器 


图 8.2 所 示 的 线性 横向 滤波 器 ,有 两 种 基本 上 等 效 的 ,描述 滤波 能 最 小 二 乘 条 件 的 方法 。 
式 (8.15) 描 述 的 正 交 性 原理 代表 一 种 方法 ,而 正则 方程 代表 另 一 种 方法 (值得 注意 的 是 ,之 所 
以 称 之 为 正则 方程 是 因为 它 是 由 正 交 性 原理 推出 的 )。 当 然 ,我 们 可 以 列 出 梯度 向 量 V 如 与 滤 
波 器 抽 头 权 值 之 间 的 关系 式 ,然后 解 出 梯度 V8 为 零 时 的 权 向 量 ,由 此 导出 此 方程 组 。 我 们 
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也 可 以 从 正 交 性 原理 导出 正则 方程 。 在 本 节 , 我 们 用 后 一 种 方法 (间接 法 )。 至 于 前 -- 种 方法 
《直接 法 ) , 感 兴趣 的 读者 可 参见 习题 7。 

式 (8.15) 所 拱 述 的 正 交 性 原理 建立 了 一 组 抽 法 输入 与 最 小 估计 误差 es (让 之 间 的 关系 。 
令 式 (8.4) 中 的 抽 头 权 值 为 最 小 二 龙 意 义 下 的 最 优 权 值 , 可 得 


Eminli) = d(i} — Sat uli - t) (8.27) 
这 里 ,我 们 特意 使 用 : PER PR A Pte. 将 式 (8.27) 代 人 式 (8.15) ,整理 后 可 得 
夺 个 联 立 方程 组 
M-1 N N 
Dy He Deli — k)u*(i — t) = Deli 一 k)d*(i) k=0,...,M-—1 (8,28) 


(8.28) SEA GOP OA Ae RAT BPE, FE A. ROPER TF : 
1. (8.282) AH A AAR Ot AAR 8.2 所 示 线 性 横向 滤波 器 中 抽 头 输入 的 时 间 平 
By HHA, ATG A 
出 (人 天) = Xu (i ~ kẹy*ti — t) O<(,k)=M-1 (8.29) 


2. FC 8.28 ) A ARR EFA GEA i) es a Sk A SZ E S A HK A 
数 ,可 以 写 为 


N 
z(-k) = uli — k)d*(i) ORAM 1 (8.30) 
12M 
相应 地 ,可 将 瞬 态 方程 组 (8.28) 改 写 为 


S alnk) = z{(-k) k=0,1,...,M—-1 (3.31) 
方程 组 (8.31) 是 线性 最 小 二 乘 滤 波 器 正则 方程 的 展开 形式 。 
8.5.1 正则 方程 的 矩阵 形式 
我 们 可 以 将 式 {8.31) 表 示 的 方程 组 改写 为 矩阵 形式 。 首 先 引 入 如 下 定义 : 
1 输入 让 ,1 ,uti- 肝 +]) 的 村 x 用时 间 平 均 自 相关 和 矩阵 为 
#(0, 0) (1, 0) = $M — 1,0) 
b = (0, 1) one) S $M -1,1) (8.32) 
AOM TD $(1,M—1) = 6(M—1,M ~1) 
2) PLIA u(i) uli- 1)... ai-MH+l) 与 期 望 响应 db) 之 间 的 M x 1 ARI 
FAK) BO 
= [2(0), 2(-1),...,2(-M + DF (8.33) 
3) BD — FRE BEES 型 xl 抽 头 权 向 量 为 
= (tp, Wi Bal! (8.34) 
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现在 ,可 按照 这 些 定 阵 定义 ,将 时 个 联 立 方程 组 (8.31) 简 单 地 改写 为 
= (8.35) 
式 !(8.35) 是 线性 最 小 二 乘 滤 波 器 正则 方程 的 矩阵 形式 。 

假定 下 是 非 奇异 阵 , 因 此 道 怎 阵 更” 存在 ,可 由 式 (8.35) 般 得 线性 最 小 二 乘 滤 疲 器 的 抽 头 

AR fea] 
w= Dy (8.36) 
CHE D FEM RARER 8.6 节 中 讨论 )。 

式 18.36)} 是 -一 个 很 重要 的 结果 : 它 是 矩阵 形式 的 维 纳 - 夫 天 方 程 {2.36) 在 线性 最 小 二 乘 条 
件 下 的 解 。 式 (8.36) 表 明 线 性 最 小 二 乘 汪 波 器 的 抽 头 祝 向 量 会 由 滤波 器 抽 头 输入 的 时 间 平 均 
相关 第 阵 亚 的 道 矩 阵 与 抽 头 输入 和 期 望 响应 之 间 时 间 平 均 互 相关 向 量 z 的 乘积 惟一 确定 。 
实际 上 ,该 方程 是 导出 线性 最 小 二 乘 滤 波 器 各 种 递 推 公式 的 基础 ,相关 内 容 将 在 本 书 的 后 续 章 
节 中 讨论 。 

8.5.2 误差 的 最 小 平方 和 


式 (8.26) 定 义 了 误差 的 最 小 平方 和 mw。 下 面 我 们 来 计算 和 , 即 期 望 响 应 能 量 4 与 期 望 
响应 估计 能 贡 8。 之 差 。 通 党 Es 由 表示 期 望 响 应 的 时 间 序 列 确定 。 为 计算 #w ,有 


z 


= > ww weuli- kuti — t) (8.37) 
Pe N 
= 3S bat Suli- kuti- t) 
t=0 k=) ix M 
式 中 第 二 行 和 用 了 式 (8.18)。 式 (8.37) 最 后 一 行 中 最 里 层 对 时 间 i 求 各 表示 时 间 平 均 自 相关 
函数 #$(1, 上 [参见 式 (8.29) ]。 因 此 ,可 将 式 (8.37) 改 写 为 
M-iM-1 
boa = 2 2, ROE Kt ve 
= wow 
其 中 ,多 是 最 小 平方 抽 头 权 向 量 ,下 是 抽 头 输入 的 时 间 平 均 相 关 罕 阵 。 根 据 正 员 方 程式 
(8.35) ,矩阵 的 乘积 Ow 等 于 互相 关 向 量 z, 可 进一步 简化 多 wm 的 计算 公式 。 因 此 ,我 们 有 


= yt 
Ee Y z 


ee (8.39) 
=i Ww 
最 后 ,将 式 (8.39) 代 人 式 (8.26) ,并 且 对 Ww 应 用 式 (8.36) ,可 得 
Enin = ba -7 Ww (8.40) 


= 6, 一 2's 
式 (8.40) 是 用 三 个 已 知 量 表示 的 误差 最 小 平方 各 的 计算 公式 。 这 三 个 已 知 量 分 别 是 :期 望 响应 的 能 
BE FHA OTE SARE 由 以 及 抽 头 输 人 与 期 望 唤 应 之 间 的 时 间 平 均 互 相关 向 量 z 
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8.6 ”时间 平均 相关 和 矩阵 O 


式 {8.32}) 给 出 了 抽 头 输入 对 时 间 平 均 的 相关 矩阵 {或 简称 相关 算 阵 )@ 的 展开 形式 ,其 元 
素 Prk EAG. E. Or, APA PER k OEE D HIIT, FER WTS), Mx 
拙 涉 输 入 向 量 为 
u(i) = fuli) ul 1) eG M+ 4)]! (8.41) 
Dal AY A FR 8. 29) WIL (8.41) O BE OA SP RT E TF 
. 
b = Zu) (8.42) 


AT SSR EBM ERRA FAEERE D, 308.42) PARR KAN -M +1) 
FETTER SAAT © PRAIRIE. 木管 是 否 会 有 比例 因子 ,按照 式 
(.42) 给 出 的 定义 .可 以 很 容易 地 得 到 相关 矩阵 的 如 下 特性 ， 
特性 1 相关 矩阵 O 是 埃 尔 米 特 矩 阵 BA 
bi =o 
这 一 特 件 可 由 式 (8.42) 直 接 得 出 。 
特性 2 ”相关 矩阵 中 是 非 负 定 的 , 即 对 任意 Mx 1 疝 量 x, 有 
x?@x 0 


应 用 式 (8.42) 的 定义 ,可 导出 特性 2 如 下 


xzEx = > xul Hu” (ix 
[x/u(i) [x ut) ]* 


= Ð äu) >0 
特性 3 当 目 仅 当 相关 矩阵 © RTIA EEH, AME o EIRAN 
ABIES AH SHRM, OHM O RR EA 
_ adj(®) 

det()} 
其 中 ajd® 是 二 的 伴随 矩阵 , 盾 阵 的 每 一 项 分 别 是 det(D) 中 元 素 的 余子 式 。 由 式 (全 .和 /很 容 
BB ih, SBAA det(O) 40 HEER OCHE., AETA, 4EM dal) <0 NS, KE 
阵 o 是非 奇 丝 的 。 


特性 4 ASEM 再 的 特征 值 全 为 实数 且 非 负 。 
D 的 特征 值 为 实数 由 特性 1 可 得 ,所 有 的 特征 值 非 负 由 特性 2 可 得 。 


特性 5 ”相关 矩阵 是 两 个 托 伯 利 兹 矩阵 的 乘积 ,它们 豆 为 埃 尔 米 特 转 置 。 


~l 





(8.43) 
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一 般 说 来 ,相关 矩阵 O 不 是 托 伯 利 兹 短 阵 。 这 一 点 出 和 矩阵 的 展开 式 (8.32) 吕 以 得 到 验 
证 。 主 对 角 线 元 素 $(0,0),80,1),..., $M 一 1, 叶 -1) 具 有 不 同 的 值 ;对 主 对 角 线 上 面 或 下 
BM ARR, M, ERE OHARA EX LRA RE. BBR: Ea 
两 个 托 伯 利 兹 矩阵 的 滋 积 为 证 明 该 特性 ,首先 用 式 (8.42) 将 矩阵 o Aaa F 


u”(M) 
® = [u(M), nM + 1),...,u(N)] WM oe 
uN) 
下 面 ,为 表示 方便 ,引入 数据 矩阵 A, 其 埃 尔 米 特 转 置 定义 为 
A’ = [u(M), u(M +1}, +, u(N}] 

u( M) u{M + i) uN) 

uM — 1) u(M) CN — 1) (8.44) 

u(1) u(2) a uN — M +1) 


可 以 看 出 , 式 (8.44) 右 边 是 用 协 方差 方法 对 数据 开 窗 后 的 输 和 人 数据 矩阵 (参见 第 8.2 节 )。 因 
此 ,根据 式 (8. 特 ) 的 定义 ,可 以 用 紧凑 的 形式 将 矩阵 由 重新 定义 为 
®=A"A (8.45) 
A844) 8-H AY EM x (N-M+ FRA. RHR ARSE 
—/S(N- M+1) x M FORRES. A MR (8.45) BTA A ER AA 
兹 矩阵 的 乘积 ,它们 互 为 埃 尔 米 特 转 置 。 于 是 ,就 完成 了 特性 5 的 推导 。 


8.7 根据 数据 矩阵 构建 正则 方程 


PEASE 0 ATAA A z, 式 (8.35) 给 出 了 最 小 二 乘 横向 滤波 器 的 正则 方程 组 。 
我 们 可 以 利用 式 {8.45) 中 的 数据 矩阵 表示 抽 头 输入 的 相关 矩阵 下 以 及 抽 头 输 人 与 期 望 响应 
之 间 的 互相 关 向 量 z 来 重新 构建 正则 方程 。 为 此 ,引入 期 望 数据 向 量 由 ,该 向 量 由 1 ,ww] 间 隔 
内 i 时 刻 的 期 望 响 应 ad( 门 构成 , 邮 
a” = [d(M),d(M + 1),...,d(N)] (8.46) 
注意 ,为 了 与 式 (8.44} 中 数据 矩阵 A 的 定义 相 一 致 ,在 向 量 d 的 定义 中 我 们 应 用 了 埃 尔 米 特 转 
驾 来 代替 一 般 的 转 置 。 有 了 式 {(8.44) 和 式 (8.46) 的 定义 ,就 可 以 利用 式 (8.30) 和 式 (8.33) 来 表 
示 互 相关 向 量 
z= Ald (8.47) 
另外 ,我 们 还 可 以 将 式 (8.45) 和 式 (8.47) 代 人 式 (8.35) 中 ,将 正则 方程 组 用 数据 矩阵 A 和 期望 
数据 向 量 a 表示 为 
AtAw = Ald 
从 这 一 方程 可 以 看 出 ,使 代价 函数 8 最 小 的 方程 组 可 以 表示 为 Awd, (RE EEC AA" A) 
在 ,我 们 可 以 解 此 方程 组 ,得 最 优 权 向 量 为 
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w= (A"A)'A"d (8.48) 
PAU, 368 SDE eh (8.45 ) FI (8.47 AEA RG 40) ARG A846) (RAR (8.23), a RHR 
阵 和 和 d 重 新 表示 线性 最 小 二 乘 问题 的 求解 结果 ， 这 样 , 就 可 以 将 误 产 的 最 小 平方 和 改写 为 
Emn = dg — a’ AA AY AM (8,49) 
虽然 这 个 会 式 看 起 来 有 点 麻烦 ,但 有 其 突出 的 特点 , 即 可 直接 用 数据 矩阵 A 和 期 望 数 据 向 量 d 
显 式 表 示 最 优 解 。 
8.7.1 投影 算 子 
式 {(8.48) 根 据 数据 矩阵 A 和 期 望 数据 向 最 4d 定 义 了 最 小 二 乘 抽 头 权 向 量 w。 因 此 ,4 的 
最 小 二 乘 居 计 可 表示 为 
d = Aw 
= A(AA) AM 
相应 地 ,可 将 矩阵 连 乘 ACA" A) ' AY 看 成 是 线性 空间 上 的 投影 算 子 。 该 空间 由 数据 矩阵 A 的 
列 生 成 ,就 是 当 i= N 时 前 面 提 到 的 空间 久 :。 用 P 表示 该 投影 算 子 ,于 是 有 
P = A(A"A) A (8.51) 


(8.50) 


HERA 
I- A(A"A)'A? =1-P 
EEIE A T (orthogonal complement projector) o 容易 看 出 ,投影 算 子 以 及 正 交 补 投影 算 子 
均 由 数据 年 阵 A 惟一 确定 。 投 影 算 子 P 作用 于 期 望 数据 问 量 qd, 得 到 相应 的 信 计 d。 另 一 方 
面 , 正 交 补 投影 算 子 1- 襄 作 用 于 期 望 数据 向 量 ,得 到 佑 计 误 盖 向 量 em =d-d。 图 8.3 说 明 
了 投影 算 子 以 及 正 交 补 投影 算 子 的 功能 。 
| å 


图 8.3 投影 算 子 P 和 正 交 补 投影 算 子 工 -下 


ti 1 
有 一 具有 两 个 抽 头 ( 即 此 =2) 的 线性 最 小 二 来 滤波 器 ,其 输入 时 间 序 列 由 4 个 实 样 值 组 成 
(Ep N=4), Ash, N-M+1=3, MAREE A PREKE dT 


u{2) uil) 
A=] 43) ul2) 
u(4}) ul3) 
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2 
= | 1 
1/34 


we A AI AR BAS R ERB ST ANAM CH ERR, 
HERE, 式 (8,51) 可 重 轨 为 
P= A{ATA) AT 


FB AL) EAE BE SH 


1 9 -1 3 

I-P=~| -15 25 一 
35 

-3 -3 1 


于 是 ,期 望 数 据 向 量 的 估计 以 及 估计 误差 向 量 分 别 为 
d = Pd 


1.91 
= j 1.15 
0 


= (1— Py 


eons 


图 8.4 给 出 了 上 述 例题 中 向 量 和 及 6 的 三 维 几何 表示 。 图 中 明确 地 表示 出 两 个 向 量 之 
疝 的 正 交 关系 5 即 垂直 的 ,这 一 结论 与 正 交 性 原理 的 推论 相 一 致 ( 因 此 习惯 上 称 为 正则 方程 )。 
该 条 件 是 如 下 情况 的 几何 描述 :在 线性 最 小 二 乘 滤波 器 中 ,内 积 ed 为 零 。 图 中 还 将 期 望 教 
据 向 量 4 表示 成 估计 向 量 中 和 误差 向 量 em 的 和 。 可 以 发 现 ,向 量 与 空间 span(A) 也 是 正 交 
的 ,空间 span(A) 定 义 为 数据 矩阵 A 中 列 向 量 所 有 线性 组 合 的 集合 。 售 计 向 量 只 是 空间 
span( 起 ) 中 的 一 个 向 量 。 


8.7.2 惟一 性 定理 


使 误差 平方 和 8&(m) 最 小 的 线性 最 小 二 乘 问题 ,其 解 总 是 存在 的 。 也 就 是 说 ,对 于 给 定 的 数 
HEGRE A 和 期 望 数 据 向 量 8 我 们 总 可 以 找到 符合 止 则 方程 的 向 量 w。 因 此 ,了 解 符合 该 条 件 的 
解 是 否 惟 一 . 何 时 惟一 就 显得 很 重要 了 。 如 下 惟一 性 定理 (Stewar,1973) 回 答 了 这 一 问题 


当 且 仅 当 和 数据 起 阵 息 的 军 维 数 等 于 0 时 ,最 小 二 来 估计 真是 惟一 的 。 
假定 数据 矩阵 A HEADE, BA Kx MBP KE N- M41, 将 矩阵 各 的 党 
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空间 [用 N(A) 表 示 ] 定 义 为 使 Ax =0 的 所 有 向 量 x 构 成 的 空间 ,将 矩阵 A 的 零 维 数 [用 null (A) 
表示 ] 定 义 为 零 空间 N(A) 的 维 数 ,在 一 般 情况 下 ,有 
null(A) # null(A”) 


j = 3 坐标 





1=4 坐 标 
图 8.4 例 1 中 的 向 量 d.& 和 e。 的 三 维 几何 表 示 


根据 惟一 性 定理 ,很 容易 得 出 ,只 有 当 数 据 和 矩阵 A 的 列 向 量 线 性 无 关 , 亦 即 数据 矩阵 A 满 
列 秩 时 ,线性 最 小 二 乘 问题 有 惟一 解 。 这 就 意味 着 ,矩阵 A 的 行 数 至 少 应 与 列 数 一 样 , 即 
-对 +1>MN。 后 一 个 条 件 表 明 ,用 于 最 小 化 问题 的 方程 组 A# = d 是 超 定 的 ,其 中 方程 的 个 
数 多 于 未 知 数 的 个 数 。 因 此 ,如 果 数 据 矩 阵 A 是 满 列 秩 的 , 则 M x M 矩阵 A*A 是 非 奇异 的 ， 
最 小 二 乘 估计 具有 惟一 解 , 如 式 (8.48) 所 示 。 

然而 , 当 和 矩阵 A 的 列 向 量 线 性 相关 时 ( 即 矩 阵 是 非 满 秩 阵 ) ,矩阵 A 的 零 维 数 不 是 零 ,而 且 
可 以 找到 无 限 多 个 使 误差 的 平方 和 最 小 的 解 。 在 这 种 情况 下 ,线性 最 小 二 乘 问题 就 变 得 很 复 
杂 , 因 为 我 们 又 面临 着 采用 哪 一 个 特 解 这 样 一 个 新 问题 。 我 们 将 这 一 问题 放 在 后 面 的 第 8.14 
节 讨 论 。 在 这 里 ,我 们 假定 数据 矩阵 A 是 列 满 秩 的 ,以 保证 最 小 二 乘 估计 w 具有 如 式 (8.48) 
给 出 的 惟一 解 。 


8.8 最 小 二 乘 估 计 的 特性 
人 们 可 通过 如 下 几 个 特性 ,对 最 小 二 乘法 获得 更 加 清楚 的 认识 。 下 面 在 假定 已 知 数据 矩 
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BE 和 的 情况 下 介绍 这 些 特 性 ( Miller, 1974; Goodwin & Payne,1977)。 
特性 1 to RR EMSRS e (DAREN, NR ARE w RAB. 
根据 图 8.1 所 示 的 多 重 线性 回归 模型 ,并 利用 式 (8.44) 和 式 (8.45) 的 定义 ,可 得 
d= Aw, +e, (8.52) 
其 中 
eh = te,(M),e,(M + 1),...,e,(N)] 
将 式 (8.52) 代 人 式 (8.48) ,可 将 最 小 二 乘 佑 计 表 未 为 
Ww = (AYA) A" Aw, + (AYA) Afe, 
= Wo + (AMA) Ae, 
‘GPR (AYA) A" 是 已 知 量 ,因为 数据 年 阵 A 完 全 由 一 组 给 定 的 观测 值 <(1),u(2)，...， 
u( 六 ) 确 定 [参见 式 (8.44)]。 因 此 ,如 果 测 量 误差 过 程 e, (i 让) 或 者 其 等 浆 的 误差 向 量 e, RAF 
均值 , 则 通过 对 式 (8.53) 两 边 取 期 望 ,我 们 发 现 估计 w 是 无 偏 的 , 即 
E[w| = w, (8.54) 
特性 2 当 测 量 误差 过 程 e (i 是 零 均 值 ,方差 为 d MORAN phi ws 


SHEERS FT PD"! 
应 用 式 (8.53}) 中 的 关系 ,可 以 求 出 最 小 二 姜 估 计 w 的 协 方差 矩阵 为 


cov[W] = E[(W — w% — wo)”] 
= E[(AA)‘AMe eH A(AM A)" | (8.55) 
= (AMA) A" Ele e" |A(AZA) | 
由 于 假设 测量 误差 过 程 e, (让 是 零 均值 .方差 为 d HORE BA 
Ele,e%] = oI (8.56) 


(8.53) 


EP Lee Ai, Abr (8.55) aba 
cov(¥] = {AAJ AF A(AMAY! 


= P{(AĦA)" (8.57) 
= o 
于 是 证 明了 特性 2。 
特性 3 Ga FR SUE ce (HEV ORAH RARE w AREARE 
AEG 
Ae rh Phe MEE Ea aA 
w = Bd (8.58) 
其 中 B 是 Mx(N- M4 1) 和 矩阵。 将 式 (8. 和 52) 代 人 式 (8.58), 可 得 
w = BAw, + Be, (8.59) 


由 于 候 设 误差 向 量 es。 的 均值 为 零 ,与 特性 1 相似 ,可 得 只 的 期 望 值 为 
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E[W] = BAw, 
AARRE Eit w EAA, Ae SER ERE B 满足 如 下 条 件 
BA =I 
EE, EPER. 5AE A 
w= w, + Be, 
于 是 ,这 的 协 方差 矩阵 为 
cov[w] = E[(w — w% 一 wy) | 
= E[Be e} B* | (8.60) 
= o BB" 
这 里 ,我们 利用 了 式 (8.56)。 它 假设 误 芝 向 量 e 的 各 元 素 互 不 相关 , 且 具 有 共同 的 方差 o, E 
测量 误差 过 程 e,( 让 是 白色 的 。 下 面 ,我 们 依据 矩阵 B 将 新 矩阵 于 定义 为 
Y = B - (AFA)'AF (8.61) 
现 组 成 矩阵 乘积 PP", HSE BA = 工 . 有 
wy! = [B - (ANA) AH][B™ - A(AĦAY'] 
= Ba’ — BA(AFA)' 一 (AAA 站 ABR + (AMA)™ 
= BB? - (A A)” 
因为 Ww" 的 对 角 线 元 素 总 是 非 负 的 ,由 这 一 关系 可 得 
ozdiag[BBA] > o° diag (AAY `] (8.62) 
由 于 o BBY EFREM w 的 协 方差 矩阵 ,如 式 (8.60) 所 示 。 根 据 特性 2, 0° (AVA) ”等 于 最 
小 二 秉 估 计 的 协 方差 矩阵 。 因 此, 式 (8.62) 表 明 , 在 线性 无 偏 估计 范围 内 ,在 最 小 二 乘 估 计 w 
每 一 个 元 素 都 具有 最 小 方差 的 意义 下 ,最 小 二 乘 估计 w 是 多 重 线性 回归 模型 中 未 知 向 其 w, 
的 最 佳 估 计 。 因 此 , 当 模 型 所 包含 的 测量 误差 过 程 。 是 均值 为 零 的 白 曲 声 时 ,最 小 二 乘 佑 计 
w 是 最 佳 线性 无 偏 信 计 (BLUE best linear unbiased estimate) o 
迄今 为 止 ,我 们 对 测量 误差 过 程 。( 间 的 统计 分 布 没 做 任 何 假设 ,只 是 假定 它 是 均值 为 堆 
的 白 噪声 。 如 果 进 一 步 假定 测量 误差 过 程 e (让 是 高 斯 分 布 的 , 则 可 获得 线性 最 小 二 乘 佑 计 
最 优 性 更 有 力 的 结果 ,正如 下 面 所 讨论 的 。 
特性 4 当 测 量 误差 过 程 eo (QEHMAROHMARAM BoB wT AM 
估计 的 Cramér-Rao 下界 。 . 
用 f(s,) 表 示 误差 向 量 e 的 联合 概率 密度 应 数 , 用 Ww 表示 多 重 线性 回归 模型 中 未 知 向 量 
we, ROLE TCA Th OO) we 的 协 方差 炬 阵 符合 如 下 不 等 式 
cov[w] 2 J7 (8.63) 
其 中 
cov[w] = E(w — ww - wo) | (8.64) 
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矩阵 于 叫做 费 希 尔 (Fisher) 信 息 矩 阵 , 且 定义 如 下 所 


. l al 
a= e E5) (8.65) 


! = Infz(e,) (8.66) 
是 对 数 似 然 函数 , 即 e 的 联合 概率 密度 的 自然 对 数 。 
因为 测量 误差 e,(n) 是 白色 的 , 故 向 量 e, 中 元 素 瑟 不 相关 。 另外 ,efa) 是 高 斯 的 , 故 e, 
中 元 素 是 统计 独立 的 。 如 设 e CO ERMAS HEA d 的 复数 , 则 有 ( 见 第 1.1 7) 





其 中 


] N 
filed) = {no ay- “M+1} zma- pe 5 Stat (8.67) 
因此 ,对 数 亿 然 函数 为 
M 
I = F 一 > Se 
1 人 (8.68) 
= F — 人 eve, 


其 中 


F=—(N — M+1)n(ro) 
是 一 常量 。 由 式 (8.52) ,得 


£0 二 和 一 六 Ww 
将 此 关系 式 代 人 式 (8,68), 可 以 用 Ww 将! 改 号 为 
i=F- gta + “wid + “a Aw, 一 aw HATAW, (8.69) 
o T 


将 实 值 的 对 数 似 然 函 数 ! 对 复 值 的 未 知 参数 向 量 w 求 导数 (与 附录 B 中 的 表示 一 致 ), 可 得 
i lay 
sal = pE A (d 一 Aw,) 


1 (8.70) 
= = Ae, 
tr 


将 式 (8.70) 代 入 式 (8,65) ,得 到 目前 所 考虑 问题 的 费 希 尔 信息 矩阵 


J = ElAeetAl 


AĦE|e,ef]A 
(8.71) 


钊 ” 实 参 至 情况 下 的 费 希 尔 信息 矩阵 将 在 附录 D 中 进行 讨论 。 
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注意 到 式 中 第 三 行 应 用 了 式 (8.56), 即 假设 测量 误差 过 程 e,{ 站 是 均值 为 零 . 方 差 为 o MIE 
声 。 因 此 ,利用 式 (8.63) 可 以 让 明 ,无 偏 估计 竞 的 协 方差 矩阵 满足 下 列 不 等 式 

cov [于 "之 oD (8.72) 
然而 ,根据 特性 2 A, oP SE ROT w ey. BT w 获得 了 Cramér-Rao 
下 界 。 此 外 ,利用 特性 1 可 进一步 得 出 , SRR e, OERA A E ee, 
Ree) Feit w 是 最 小 方差 无 篇 估计 (MYUE, minimum-variance unbiased estimate) o 


8.9 MVDR 的 谱 估计 


在 上 述 最 小 二 乘法 中 ,没有 对 解 施加 任何 限制 。 然 而 ,在 有 些 应 用 中 ,这 种 方法 并 不 令 人 
满意 ,这 时 ,可 采用 约束 最 小 二 飞 法 。 例 如 ,在 涉及 空间 信号 处 理 的 自 适 应 波束 形成 中 ,通常 希 
望 使 波束 形成 天 输出 的 方差 (也 就 是 平均 功率 ) 最 小 化 ,同时 在 感 兴趣 的 目标 信和 号 方向 上 保持 
无 失真 响应 。 在 阴 态 情况 下 ,相应 的 问题 就 变 为 使 谱 司 计 器 的 平均 功率 最 小 ,而 在 某 一 特定 频 
率 上 保持 无 失真 响应 。 在 这 样 的 应 用 中 ,其 解决 方案 称 为 最 小 方差 无 失真 响应 (MVDR,mini- 
mum-variance distortionless response) 估 计 器 。 为 了 和 前 面 的 描述 保持 一 致 ,我 们 将 用 公式 表示 朋 
态 形式 的 MVDR 算法 。 

考虑 如 图 8.5 所 示 的 线性 横向 滤波 带 , yt 让 表示 滤波 器 的 输出 , 它 是 抽 头 输入 为 uli), 
ai-1 va- 时) 时 沾 波 器 的 输出 啊 应 。 具 体 来 说 ,我 们 有 


Mi) = Satu 一 (8.73) 
其 中 aa.. a AERINDEDERR OVC. AUIS FIN roe Dread RAR FF ni ee AeA 
Eon = > bor 
最 小 ,有 满足 约束 条 件 


M 
S age ten = 1 (8.74) 
kad 


其 中 tay 是 感 兴趣 的 角 频 率 。 与 经 典 的 最 小 二 乘法 一 样 ,滤波 器 系数 Bor By eee gy Og 在 观测 间 
隔 1sis 六 内 保持 不 变 , N 是 数据 的 总 长 度 。 


ali — 1) 


yl) 





8.5 RINE as 
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为 了 求解 约束 景 小 化 问题 ,我 们 应 用 拉 格 并 日 (Lagrange) 乘 子 法 ;该 最 优化 过 程 将 在 附录 
C 中 讨论 。 有 基体 地 ,我们 定义 约束 代价 函数 
N M 
€= | > Iy)? + af Safe 一 7 
i=M+1 k=0 L, 
a th AE 线性 约束 


其 中 4 是 复数 拉 格 朗 日 乘 子 。 注 意 ,这 里 所 述 的 约 东 问题 中 没有 期 望 响应 ,取而代之 的 是 一 
组 线性 约束 条 件 。 同 时 注意 , 没有 期 望 响 应 也 就 没有 参考 机 制 , 正 交 性 因此 失去 了 意义 。 

为 了 得 到 最 优 滤 波 器 系数 . 芮 先 确 定 梯 得 向 量 Y 冯 并 令 其 等 于 零 。 然 后 ,采用 类 似 于 第 
8.3 节 的 方法 ,对 式 (8.75) 表 示 的 约 东 代价 函数 ,可 求 出 其 梯度 向 量 的 第 上 个 分 量 为 


Vee = 2 $, uli — Ay) + ater (8.76) 


=M-+1 


(8.75) 





其 次 ,将 式 (8.73) 代 入 让 (8,76) ,并 经 整理 后 得 
V,6é = 23a, 六 uli 一 k)u*(i 一 t) + Ate TRO 
P f=M+1 (8.77) 
= 25) ab(t.k) + Ate 
f=0 


其 中 ,第 二 行 第 一 项 中 ,我 们 已 对 抽 涉 输入 的 时 间 平 均 自 相关 函数 #(1, 记 ) 梗 用 了 式 (8.29) 的 
定义 。 为 使 约束 代价 函数 芭 最 小 化 , 令 
VE=0 k=01,...,M (8.78) 


WARG. RER , SAA io AS OA POM + PRT 


Sagn k) = -aree k=0,1,..,M (8.79) 


使 用 矩阵 表示 ,上 述 方 程 组 可 改写 为 
i = — 3 Ats(oy) (8.80) 
sth @ SL AH CM + 1) x (M+ 1 DP eS + 1) x 1 ER 


量 , 且 
s(wo) = [1e7™,..., eM]? (8.81) 
是 (M+1) x 1 维 固定 频率 向 量 。 如 果 假 定 © BAGH WCE 一 存 在 , 解 式 (8.80) 
可 得 最 佳 抽 头 权 阿 量 
a=— > AO s o) (8.82) 
SLE SPEDE AS (RR RAG ART 4 的 值 。 为 解 出 4 ,我 们 应 用 式 (8.74) 给 出 的 最 优 横 


HEERA REA. AE, FERREA 
ts(wo) = 1 (8.83) 


HA s, 与 式 (8.82) 中 的 向 量 斌 的 内 积 ,并 令 内 积 等 于 1, 则 可 求 出 的 最 优 解 
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2 


At = — 
s (oo) sfe) (8-80 
最 后 ,将 上 述 a 值 代 人 式 (8.82), 即 得 MVDR 解 为 
中 -sf an) 


(8.85) 


a= Plo so) 


TE, WR RARE PEE © 和 频率 向 量 s( wo ) ,我 们 可 用 式 {8.85) 给 出 的 
MVDR 公式 计算 图 8.5 中 横向 滤波 器 的 最 优 拥 头 权 问 基站。 
用 Sn(wo) 表 示 输 出 能 量 g。 的 最 小 值 , 它 是 输出 响应 调谐 在 角 频 率 ow 条 件 下 把 式 
(8.85) 的 MVDR 解 各 用 做 抽 头 权 向 量 时 所 得 到 的 结果 。 于 是 有 
Suvora) = ada (8.86) 


将 式 (8,85) 代 人 上 式 (8.86) ,化 简 后 最 终 得 到 

AY ( ) 一 1 
PRN San) se) 
式 (8.87) 可 写成 更 一 般 的 形式 。 如 定义 一 个 频率 扫描 向 量 
s(w) = [L e.. e M] 一 Kw (8.88) 
式 中 角 频 率 o EKEK - rr] 内 的 变量 , 则 对 每 一 个 w ,MYDR 佑 值 可 作为 相应 的 横向 滤波 器 
的 抽 头 权 向 景 。 于 是 ,最 优 滤波 器 的 输出 能 量 成 为 o 的 函数 。 相 应 地 , 设 Shoe (w) 表 示 这 个 
函数 关系 , 则 可 写 出 中 


(8.87) 


1 


Suvor(@} = says) 


(3.89) 
我 们 将 式 (8.89) 称 为 MVDR 谱 估计 ,将 式 (8.85) 给 出 的 解 叫 做 w = coo 时 抽 头 权 向 量 的 MVDR 


估计 。 注 意 ,对 任意 的 o, 其 他 频率 的 信号 功率 都 被 最 小 化 。 因 此 , 根据 式 (8.89) 得 出 的 
MVDR 谱 呈 现 相对 陡峭 的 峰值 。 


8.10 MVDR 波束 形成 的 正则 化 


式 (8.85) 的 MVDR 公式 也 为 雷达 、 声 纳 、 无 线 通信 方面 的 自 适应 波束 的 形成 提供 了 基础 。 
促使 这 一 方法 得 到 应 用 的 原因 主要 有 以 下 两 方面 

e RRC ATE . 

o 对 存在 大 量 干扰 源 的 复杂 干扰 环境 的 处 理 能 力 。 

考虑 图 8.6 所 示 由 具有 个 天 线 单 元 的 线性 阵列 组 成 的 自 适 应 波束 形成 器 。 设 s(8) 表 


示 感 兴趣 的 观测 方向 (该 方向 用 电气 角度 8 表示 , 且 - 2 <bs<m2) 上 指定 的 波束 转向 向 量 
(beam-steering vector) , 即 天 线 阵 元 中 每 个 单元 的 线性 相 移 向 量 。 角 度 8 与 相对 于 阵列 法 线 测 


DO 用 式 (8. 中 9) 计 算 庶 的 方法 在 文献 中 又 称 做 Capon 方法 (Capon, 1969)。" 最 小 方 善 无 失真 响应 "这 一 说 法 来 自 Owsley 
(1984). 
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得 的 实际 到 村 方 向 9 有 关 , 可 表示 为 
and 


t= Z? (8.90) 


成 中 & 是 阵列 中 相 邻 单元 之 间 的 间 隐 ,4 是 入射 电磁 流 的 波长 (参见 “背景 与 预览 "中 国 13)。 
针对 现 有 问题 ,对 式 (8.85) 做 适当 的 调整 ,可 以 将 波束 形成 器 权 疝 量 的 MYDR 解 表示 为 
b's(a) 


EOOD (8.91) 


RRAS GREAR., AE., eS tse CARARE nl EP OK BA 
AIA — TBH R A “RRB (snapshot)”. 2972 0 FE HEIR , AAA FARRE 
平均 相关 和 矩阵 D 

K 

= Su(aju"( (8.92) 

n=] 
将 其 代入 式 (8.91) ,可 得 权 向 量 w 的 相应 值 。 为 了 适应 环境 统计 特性 的 变化 ,必须 对 每 个 快照 
块 重复 进行 整个 “估计 和 和 插入” 过程。 正如 末 章 引言 中 所 指出 的 ,虽然 批 处 理 方 法 的 运算 量 比 
递归 最 小 二 乘法 要 大 ,但 随 着 计算 机 技术 的 不 断 进步 ,计算 复业 性 已 不 再 是 需要 实际 关心 的 主 
要 问题 。 





y(n) 





s(a) a 


图 8.6 eet RR CRE AA MVDR 波束 形成 器 
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8.10.1 正则 化 
式 (8.85) 的 MYDR 权 问 量 Ww feta watt 问题 ( 记 -posed inverse estimation problem) 的 解 ， 
© 该 问题 是 一 个 逆 问 题 , 央 为 从 输 人 数据 到 加 权 向 量 实际 上 是 以 与 产生 这 些 数 据 的 物理 
过 程 相 反 的 方向 进行 的 ， 
e 该 问题 是 病态 的 ,主要 是 由 于 :{1) 输 人 数据 不 充分 5(2) 存 在 只 声 和 和 干 挑 信和 导 。 这 两 个 
因素 导致 解 的 木 惟一 性 。 
因此 ,使 用 式 (8.91) 将 会 导致 -个 具有 较 大 旁 浴 的 天 线 模 式 ( 邮 相 对 于 观测 方向 的 波 盯 形成 器 
功率 响应 的 曲线 ) ,而 较 大 的 旁 欠 是 不 介 许 的 。 田 外 ,在 格 邻 数 据 块 之 间 可 能 会 引起 来 自 下 一 
个 快照 块 的 天 线 模式 随机 波动 ,这 将 对 紧 接 着 的 信 入 处 理 产 生 破 坏 性 的 影响 。 

为 了 减轻 估计 器 {例如 , 自 适 应 波 求 形成 器 ) 的 六 态 影响 ,需要 通过 正则 和 化 { Tikhonov, 1963, 
1973) 来 稳定 解 。 共 基本 原理 是 ,利用 与 结 枸 有 关 的 正则 化 分 量 来 增 蝇 通常 与 数据 有 关 的 代价 
天 数 ,其 目的 就 是 对 估计 器 建立 的 输入 输出 怠 射 强加 一 个 平 少 约束 ,从 而 使 解 稳定 。 因 此 , 正 
WG ETT aE RT RA 

CTEM EER tf ee) = (数据 相关 的 代价 函数 ) + CEM ae) - (结构 相 关 的 正则 化 项 ) 

(8,93) 

从 某 种 意义 上 讲 , 可 以 将 正则 化 参数 看 做 规定 该 解 时 输入 数据 是 否 充 分 的 一 个 指示 器 。 
特别 地 , 当 正 则 化 参数 接近 替 时 , 解 完 全 由 输 人 数据 决定 。 另 一 方面 , 当 正 则 化 参数 接近 无 穷 
时 ,通过 正则 化 所 坟 的 平滑 约束 足以 规定 这 个 解 , 它 是 输入 数据 不 可 靠 时 另外 一 种 解决 方法 。 
实际 上 ,正则 化 参数 的 值 一 般 介 于 这 两 种 极端 情况 之 间 。 


8.10.2 具有 可 控 旁 办 的 正则 化 自 适 应 波束 形成 器 


对 于 MVDR 波束 形成 ,我 们 用 如 下 虽 标 来 介绍 正则 化 设计 的 一 种 改进 形式 (Hughes & Me- 
Whirter, 1995; McWhirter et al. , 2000}: 

肝 标 ”防止 对 应 于 MVDR 解 的 空间 响应 不 必要 地 背离 静态 响应 ,这 一 点 在 环境 特性 已 知 

的 非 自 适应 波束 形成 器 中 已 得 到 详细 说 明 。 


这 一 目标 的 满足 ,将 以 有 意义 的 方式 影响 去 除 最 小 二 乘 解 中 不 必要 的 自由 度 。 特 别 地 ,我 
们 现在 可 用 图 8.6 所 示 的 方式 将 正则 化 MYDR 波束 形成 器 设计 问题 表示 如 下 : 


确定 最 优 加 权 因 子 Ww, 使 得 在 如 下 约束 条 件 下 
w's(@) = 1 $19】 = 被 束 转向 向 重 


使 波束 形成 器 输出 能 量 
> lw a(n)” 对 于 K 个 快照 的 块 











Re) TAR SR OP he E. 
在 线性 阵列 的 情况 下 , 上述 两 项 日 标 可 通过 下 商 的 正则 化 (MeWhirter et al. ,2000) 
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| 正则 化 分 基 ) = /Mos — w,)"s(@)|"de ae 


= (w — w,)"Z(w ~ w) 


来 实现 , 式 中 w, BAA at A 
Z= {alost0)s 0)o0 (8.95) 


E-A Mx MEE. EAA h(t8) 用 来 对 波 来 形成 器 的 观测 范围 加 一 个 非 负 的 权 。 于 是 ， 
根据 式 (8.93) ,可 将 式 (8.94) 的 正则 分 量 与 MYDR 问题 的 约束 代价 函数 合并 , 则 有 


K 
Celw) = 之 [wula + Alw”s(8) ~ 1) + 6(w — w) Zw ~ w) (8.96) 


AF A RAAT SIEM. HEAT RK. (Ww) MAA wRS HORST 
零 , 即 得 最 优 权 向 量 w 为 


w= (@+ 52) (82%, - Z asco) ) (8.97) 


FAP b ERR (8.92) 26 XB E ERER rh (8.97) eA aE 
Wis(0) = 1 


FEST OS BA ET OA 求解 ,得 
1 1 — 6wiZ(® + 6Z)'s(6) 


24 eg + 8Z)s(8) (8:9 


此 处 ,我 们 利用 了 Mx WM 增 广 相 关 和 矩阵 + OZ 的 埃 尔 米 特 性 质 。 最 后 ,将 式 (8.98) 代 人 式 
(8.97) , 则 得 如 下 正则 化 MVDR 解 
_ (b + 8Z)s(8) 
~= (OO + 8Z)18(@) 
Swi Z(@ + 52) 's(6)(@ + 8ZY's(8) 
s*(a}( + SZ) 's(e) 





+ &(@ + SZ) 'Zw, 
(8.99) 





HARDER PIL: 
在 8=0 的 极端 情况 下 {也 就 是 没有 正则 化 ), 式 (8.9) 退 化 为 非 正则 化 的 MVDR 解 
sh) /ss (O sle) 
@ 尽管 式 (8.99) 形 式 复 杂 , 但 在 实际 实现 中 ,这 种 正则 化 解 的 运算 量 远 远 低 于 基于 奇异 值 
分 解 的 子 空间 投影 算法 (McWhirter et al. ,2000)( 奇 异 值 分 解 将 在 下 一 节 讨论 )。 


图 8.7 给 出 了 功率 响 册 与 信号 实际 到 达 方 向 o 之 间 的 关系 曲线 ,该 曲线 显示 出 基于 式 
{8.99) 的 正则 化 MVDR 被 束 形 成 器 的 卓越 性 能 。 这 里 给 出 的 结果 来 自 McWhirter 等 (2000) ,其 
实验 参数 为 ， 

e BAH A-E RE CIA RABY 16 单元 线性 阵列 

e 观测 方向 p=0 
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e 从 一 个 天 线 单 元 到 下 一 个 天 线 单元 空间 不 相关 的 加 性 高 斯 所 噪声 
= 45? 的 单一 干扰 器 ,相对 于 阵列 中 每 一 天 线 单元 的 发 射 功 率 广 30 dB 
© 计算 中 的 快照 数 K = 32 
@ 媳 权 函数 为 
cos? 对 于 和 > 0° 
当 8 > 人 0? 时 ,使 用 该 加 权 了 是 数 果 使 天 线 模 式 接近 于 固定 的 切 比 雪夫 模式 (Chebyshev pat- 
tem), HAWE -30 dB 左右 。 当 <0P 时 ,天 线 模 式 是 非 正 则 化 的 ,与 观测 区 域内 没有 
干扰 存在 一 样 。 
e 静态 加 权 向 量 w, 由 Dolph-Chebyshey 天 线 模式 确定 (Dolph,1946)。 
© 正则 化 参数 8 = 30K = 960 
FH 


iN 


fe 


sit 


ye BY (dB) 





MEETME? 
3.7 正则 化 MVDR ER ERE HSER AP Ra PR RRA 


从 图 中 可 以 看 出 , 当 p > 0 时 ,使 用 正则 化 将 对 观测 区 域 的 天 线 模式 产生 很 大 影响 。 特 别 
是 , 当 输入 数据 从 一 个 块 到 下 一 个 块 时 ,加 权 向 基 的 波动 显著 减少 了 。 同 时 , 旁 瓣 被 控制 在 接 
iff Dolph-Chebyshev MAN. (HRB IT yp < 0 所 表示 的 非 正 则 化 观测 区 域 ,天 线 模 
式 有 明显 的 波动 ,而且 旁 为 性 能 较 差 。 另 外 ,在 p= 中 这 一 指定 的 观测 方向 上 ,正则 化 的 波束 
形成 器 仍 能 产生 0 dB 的 响应 ,而 在 p=45° 的 干扰 方向 上 响应 为 零 。 


8.11 育 异 值 分 解 


规 在 ,我 们 通过 介绍 所 谓 奇 异 值 分 解 (singular-value decomposition) 的 计算 工具 来 完成 对 最 
小 二 习 法 的 讨论 。 这 一 工具 的 优势 在 于 它 适用 于 方 阵 以 及 矩形 阵 , 而 不 管 它们 是 实数 还 是 复 
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数 。 因 此 ,在 奇异 值 分 解 可 直接 应 用 于 数据 算 阵 这 个 意义 上 , 它 非常 适合 于 求 线 性 最 小 二 乘 问 
题 的 数值 解 。 
FES 8.5 节 和 第 8.7 节 ,我 们 介绍 了 下 列 两 种 形式 的 计算 线性 最 小 二 乘 解 的 正则 方 称 : 
1) 式 (8,36) 给 出 的 形式 , 即 
w= z 
式 中 ww 是 多 重 回归 模 型 未 知 参 数 向 量 的 最 小 二 乘 估计 ,四 是 用 来 完成 估计 的 横向 滤波 
器 抽 闲 输 大 的 时 间 平 均 相 关 和 矩阵 ,z 是 抽 头 输 人 和 回归 模型 输出 (也 就 是 期 望 响 应 ) 之 
间 的 时 间 平 均 互 相关 向 景 。 
2) 直接 用 数据 托 阵 表 小 的 式 18.48) , Bi 
w= (A"A)'A"d 
式 中 和 是 数据 矩阵 ,表示 抽 头 输 和 人 向量 的 时 间 更 新 ,4 是 期 望 数 据 向 量 ,表示 期 望 响 应 
的 时 间 评 估 。 
这 两 种 形式 在 数学 上 是 等 效 的 ,但 是 它们 却 代表 了 求 最 小 二 乘 m 解 的 不 同 计算 方法 。 式 (8.36) 
要 求 已 知 时 间 平 均 相关 和 矩阵 ©, COEF A” ARE, AA. 在 式 (8.48) 中 ,根据 数据 怎 
阵 A 的 奇异 值 分 解 ,(A A) A 能 够 这 样 来 理解 :在 相同 数字 精度 的 情况 下 ,由 式 (8.48) 计 算得 
到 的 解 w 的 正确 数字 位 数 两 倍 于 式 (8.36) 计 算得 到 的 解 。 有 具 司 来 说 ,如 果 定 义 矩 阵 
At = (AA) AF (8.100) 





则 式 (8.36) 可 简单 地 章 写 为 
w= A‘d (8.101) 


矩阵 At 称 为 第 阵 A 的 伪 道 或 Moore-Penmse J” X iti (Stewart, 1973; Golub & Van Loan, 1996), E 
式 表示 了 一 种 简便 的 说 法 , 即 “ 向 量 w 是 线性 最 小 二 乘 问题 的 解 "。 事 实 上 , 它 仅仅 是 我 们 已 
熟悉 的 方程 的 简单 形式 ,而 且 也 是 大 们 所 希望 的 .与 第 8,5 节 所 用 时 间 平 均 相 关 和 矩阵 OE 
相关 向 量 的 定义 相 一 致 ,以 致 于 我 们 可 根据 式 (8.44) 和 式 (8.46) 来 定义 数据 矩阵 A 和 期 望 
数据 向 量 do 

实际 应 用 中 我 们 经 常 发 现 ,数据 矩阵 A 全 有 线性 相关 的 列 向 量 。 因 此 ,我 们 又 面临 一 个 
新 的 情况 , 即 在 无 穷 多 个 可 能 的 解 中 判别 哪 一 个 解 作为 最 小 二 乘 问题 的 解 。 这 个 问题 可 通过 
采用 第 8.14 节 介绍 的 奇异 值 分 解 技术 来 解决 ,即使 当 null(A) 关 名 时 亦 可 ,其 中 多 表示 空 集 。 


8.11.1 奇异 值 分 解 定理 
窟 阵 的 奇异 值 分 解 (SVD singular-value decomposition) 是 数值 代数 中 提供 线性 方程 组 结构 信 
息 方 面 最 精巧 的 算法 之 一 (Klema & Laub,1980)。 我 们 所 特别 感 兴趣 的 线性 方程 组 可 拱 述 为 
Aw =d (8.102) 
sth AEE Kx MER dEK AR vRS AE BH hit) Mx 1 向 量 。 式 
{8.102) 表 示 和 矩阵 形式 的 正则 方程 。 如 果 等 式 的 两 边 前 乘 向 量 A , 则 得 到 最 小 二 乘 权 向 量 w 


的 正则 方程 。 
给 定数 据 和 矩阵 A, 则 存在 两 个 酉 矩阵 V 和 U, 使 得 
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x 0 
H = 
UAV |: a (8.103) 


其 中 

F = diag(e,,a2,..., Ty) (8.104) 
MAE, cto eoe...zoy > 0. 式 (8.103) 是 奇异 值 分 解 定理 的 数学 表述 ,并 以 其 
创始 人 的 名 字 命 名 为 Autonne-Eckart- Young 定理 中 。 

图 8.8 给 出 了 式 (8.103) 所 述 的 奇异 值 分 解 定理 的 一 种 图 示 。 该 图 中 ,我们 已 经 假定 数据 
矩阵 A 所 包含 的 行 数 KATIM, BSED A HAMA 下 小 于 此 。 当 然 ,我们 也 可 以 用 酝 
托 阵 Y 和 可 以 及 对 角 阵 乙 来 表示 数据 矩阵 ,从 而 可 给 出 奇异 值 分 解 定理 的 另 一 种 图 示 。 这 个 
问题 留 给 读者 作为 练习 。 


SEE PY EE HAE PERE 


— a = 


图 8.8 PSR) a EE HEr 


式 (8.104) 中 的 下 标 W ean A 的 秩 , 记 为 mmk(A), 它 定义 为 A 中 线性 无 关 的 列 数 。 
注意 ,总 是 有 rank(A") = ronk(A), A K> MRK < 都 是 可 能 的 ,所 以 需要 考虑 两 种 不 同 
的 情况 。 我 们 将 对 这 两 种 情况 独立 地 证 明 奇 异 值 分 解 定理 。 当 K> 时 时 ,我 们 有 一 个 超 定 方 
程 组 ,此 时 方程 的 数目 大 于 末 知 数 的 数目 ;而 当下 < 此 时 ,我 们 有 一 个 火 定 方程 组 ,此 时 方程 
的 数目 小 于 未 知 数 的 数目 。 下 凋 ,我们 将 依次 讨论 这 两 种 情况 。 

情况 1; 超 定 方程 组 X K> 上 # 的 情况 ,用 矩阵 A 的 埃 尔 米 特 转 置 矩阵 前 乘 矩 阵 A ,得 到 
Mx MER A" A, SEE A" A 是 埃 尔 米 特 阵 和 非 负 定 阵 ,其 特征 值 全 是 非 负 实数 。 将 这 些 特 
征 值 表示 为 ly 0, eee Ou ,其 中 Oo, 20,2... I dy >0 且 royorray BA® Le We Mo 
h TIER AAA A AARRE, BI AoA 有 WARRE. EH v, Ys.. Ya PHA 
HPF A* A ATRE oios.. au 的 正 交 化 特征 向 量 ,Y 表示 M x M EEE, HY ht 
征 向 量 vv.. ov 组 成 。 接 着 ,通过 矩阵 AA 的 特征 分 解 ,可 以 写 出 





= 


Ore 


X 9 
HAH 一 
VIATAYV k d (8.105) 





O HH DeMoor 和 Golub( 1995) , a SARA ety Autonne 于 1902 年 提出 ,Eokar 和 Young (1936) 744 T EN — 
个 重要 特性 。 关 于 奇异 值 分 解 的 发 展 过 程 ,可 参见 Klen 种 Lab 1980) XE, 
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将 本 矩阵 V 分 块 为 
v = [v v] (8.106) 
其 中 
Vi = [vs v.. Yy] (8.107) 
是 一 个 Mx WERE, H. 
Va = [vwt Ywan s Yar] (8.108) 
是 一 个 MxM- MER, E 
ViV = (8.109) 


由 式 (8.105), 可 以 得 到 如 下 两 个 推论 : 


O 对 于 和 矩阵 V.A 
VATAVI = 2 
aK 
TIVi AY AV, X! =I (8.110) 
2) SFE V, f 
VIATAV, = 0 
故 
AV, 二 个 (8.111) 
HE, Ree L— TRAY Kx WR 
U, = AV, =" (8.112) 
则 根据 式 (8.110)? 可 得 出 
UfU =I (8,113) 


这 就 意味 着 矩阵 U, 的 列 是 彼此 正 交 的 。 基 次, 我们 选择 男 一 个 让 x (K- FER U, OU, 
和 组 成 Kx KRE, S 
U = [U,,U,] (8.114) 
这 是 一 个 丁 和 矩阵 。 它 意味 着 
UrU,= 0 (8.115) 


因此 ,利用 式 (8.106) 30 (8.114) 、 式 (8.111)、 式 (8.112) 和 式 (8.115), 可 以 得 到 


Al [Vi Al 


UAV, Ut Ra 
UFAV, UFAY, 


[v 
[e 
-| (EV AAV, ee | 
-上 


UrAY = 


UUE) UNO) 


J 
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这 就 证 明了 超 定 情况 下 的 式 (8.103)。 

情况 2: 穴 定 方程 组 ”下面 ,考虑 K< M4 的 情况 。 这 时 用 和 矩阵 A 的 埃 尔 米 特 转 置 矩 阵 A* 
前 乘 矩阵 A, 得 到 天 x 矩阵 AA”。 它 也 是 埃 尔 米 特 阵 和 非 负 定 阵 ,因此 其 特征 值 也 同样 是 非 
鱼 实数 。AA” 的 非 零 特征 和 值 与 AYA 的 相同 。 由 此 ,可 以 将 AA” 的 特征 值 表示 为 oi, oi,.,.， 
oy E 6 pa,m...zoy>0H ordra- ENE le Wek. 用 而 出;... ,ty SH 
示 和 矩阵 AA” Xt RIE of ,ea ,...， ag 的 正 交 化 特征 向 量 ,U eo Pe E7 h PE et 
u, ,.. .sux 组成。 于 是 ,通过 矩阵 AA” 的 特征 分 解 , 可 以 写 出 





UrAANU = A (8.116) 
将 酉 矩阵 URA 
U = |U, U] (8.117) 
其 中 
U = [u , Ua,- o gy] (8.118) 
Uz = [tye uw+rz s ug | (8.119) 
E 
UFU, = 0 (8.120) 


由 式 (8.116), 可 以 得 到 如 下 两 个 推论 : 


D 对 于 矩阵 U ,有 
UF AAU, = F 
故 
TUT AAAUIE = I (8.121) 
2) SFE UA 
UF AA"U, = 0 
故 
AU, =0 (8.122) 
PRE RTE OM x WER 
Vi = 和 AU (8.123) 
由 式 (8.121) 可 得 
vVřV =I (8.124) 


这 就 意味 着 矩阵 V 的 列 是 后 此 正 交 的 。 接 着 ,我 们 选择 另 一 个 于 x (M - WERE VV, SV, 
AQ V, 组 成 M x MER, B 
v = [V V] (8.125) 
这 是 一 个 酉 矩阵 。 它 意味 着 
ViV, = 0 (8.126) 
因此 ,利用 式 (8,117) , 式 (8.125)、 式 (8.122)、 式 (8.123) 和 式 (8,126), 可 以 得 到 
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Had Ur 
UAV = ut AV, V] 
_{ UfAV UAV, 
UAV, US AY, 


: fe ae | 
(0)V, (0)¥, 


ey 革 : j 

jo 
这 就 证 明了 从 定 情况 下 的 式 (8.103)。 至 此 ,完成 了 奇异 值 分 解 定 理 的 证 明 。 
8.11.2 术语 及 与 特征 分 解 的 关系 





AEREAS, AHAB yoy... V BATA 的 特征 向 喇 , 而 左 奇 异 向 量 册 ,4 ，,..， 
ux 是 AA” 的 特征 向 量 。 并 和 且 , 正 奇异 值 的 个 数 等 于 数据 矩阵 A 的 秩 。 因 此 ,奇异 值 分 解 为 确 


定 托 阵 的 秩 提 供 了 基础 。 
由 于 UU” 为 单位 阵 , 故 由 式 (8.103) 可 得 
x 0 
AV = uf | 
因此 
AY, = 070, b= 1.20865 W 
和 
Av, = 0 i= W +1,.., K (8.127) 
相应 地 ,可 以 将 数据 矩阵 A 用 展开 形式 表示 为 
Ww 
A= Somy” (8.128) 
i=l 


由 于 YY* 为 单位 阵 , 故 由 式 人 .103) 可 得 
或 者 等 效 地 ,有 


有 此 可 得 出 


和 Ay = 0 i=W+1,..,M (8.129) 
在 这 种 情况 下 ,我 们 可 以 将 数据 矩阵 A 的 埃 尔 米 特 转 置 用 展开 形式 表示 为 


W 
AF” = Somu (8.130) 


f=1 
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这 与 式 (8.128) 完 全 相符 。 
fil 2 
在 这 个 例子 中 ,我 们 应 用 SVD 来 处 理 算 阵 秩 的 不 同方 面 。 各 表示 一 个 秩 为 WKM 
BX TE SE EE ,如果 
W = min(K, Af} 
则 起 古 满 秩 的 。 SUM A SMR (rank deficient), Ew i BAHAR WW 
AE A ARR a Ha PK, 
Fos RHEE HEFL RAM B—4LEMR ERR Ete 范围 内 。 
ASEM B ARSE A SLAP, HEE A ti e #( Golub & Van Loan, 1996) 4 


rank{A, £) = „min rank(B) (8.131) 


KP | A-B| 表示 不 精确 计算 产生 的 误差 组 阵 息 -器 的 谱 范 数 (speetral norm), HARE 
介绍 的 给 阵 谱 范 教 的 定义 推广 到 现在 这 种 情况 ,我 们 发 现 谱 范 数 A-B] FT ZH 
处- 了 的 最 大 奇异 值 。 在 任何 情况 下 ,如果 

rank{(A, £) < min(K, M) 
HL Kx MAERAH., SVD ARAE e A5 ART — A 
划 合 实际 的 方法 ,因为 由 其 应 用 得 出 的 凋 弄 值 以 一 种 简章 的 方式 指出 如 何 使 一 个 给 定 焉 
E A BIT FRU B, 


8.12 fi 


我 们 对 SVD MARL AIA Reon HANA, HA Re Kx MER, H SYD 
如 式 (8.103) 所 示 。 将 数据 矩阵 A IN (Stewart, 1973; Golub & Van Loan, 1996) €E 4A 


一 1 
让 + 二 |3 so" (8.132) 


式 中 
£7 = diagte1T o7!,..., 07) 
WË ARR, HMA 也 可 以 用 展开 形式 表示 为 
At= X 一 (8.133) 


i=. 7 
下 面 ,我 们 就 可 能 出 现 的 两 种 情况 进行 讨论 。 
情况 1: 超 定 方程 组 ”这 种 情况 下 ,天 > M, RIBER WSF OM, ECA" A) 
Eo BAER A BPE YH 
At = (AYAY A” (8.134) 
为 证 明 此 式 有 效 , 由 式 (8.110) 和 式 (8.112) 分 别 得 到 
(APA)* = VX? VË 
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利 
A” = VIEUF 
应 用 这 对 关系 式 , 可 将 式 (8.134) 的 右边 表示 为 
(AXA) A? = (YE2V 们 (VEU 们 
= VI UF 


情况 2: 欠 定 方 程 组 ”第 二 种 情况 下 , 开 > K REEK 玉 等 于 天 ,这 时 道 算 阵 (AA*)” 
FE. SUR AM MDE A 


At = AMAANY! (8.135) 
为 证 明 此 式 有 效 ,由 式 (8.121) 和 式 (8.123) 分 别 得 到 
(AA*}' = UE2UF 
和 
A” = V XUY 
应 用 这 对 关系 式 , 可 将 式 (8.135) 的 右边 表示 为 
AM(AA®)? = (V,ZUF\U,27U!) 


= At 
注意 , 式 (8.132) 或 式 (8.133) 所 表示 的 伪 逆 At OR, ES RE A 
对 应 的 是 超 定 方程 组 还 是 欠 定 方程 级 ,也 不 在 乎 秩 五 等 于 多 少 。 更 重要 的 是 它 在 数值 上 基 稳 
定 的 。 


8.13 奇异 值 和 奇异 向 量 的 解释 


考虑 一 个 Kx M BGESERE 入 ,其 SVD 由 式 (8.103) 纵 出 ,相应 的 伪 道 由 式 (8.132) 纵 出 。 我 
们 假定 方程 组 是 超 定 的 ,并 定义 一 个 x1 向量 y 和 一 个 Mx 向量, 它们 之 间 的 关系 用 变 
HEE 和 A 表示 为 
y = Ax (8.136) 
限制 向 其 的 欧 氏 范 数 为 单位 长 度 , 即 
|x] = 1 (8.137) 
给 定式 (8.136) 的 变换 和 式 (8.137) 的 约束 条 件 ,我 们 希望 在 天 维 空间 里 找到 由 向 量 y 定义 的 
点 所 形成 的 轨迹 。 
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由 式 (8.136) 解 x, 得 


x= A'y (8.138) 
FUP A’ 是 下 的 伪 道 。 将 式 (8.133) 代 入 上 式 , 得 
x= Dvuy 
ae (8.139) 
Sey, 
i=l a; 


式 中 和 是 矩阵 A 的 秩 , 内 积 uly 是 一 个 标量 。 将 式 (8.137) 的 约束 条 件 用 于 上 式 ,注意 到 右 奇 
异 向 量 wm,..:yr 形 成 一 个 正 变 条 ,于 古 得 到 
Ww ly" ul E 
i=] o? 
式 {8.140) 定 义 了 向 量 y 在 K 维 空间 上 描绘 出 的 轨迹 。 这 实际 上 是 -个 起 椭圆 方程 ， 
为 了 帮助 理解 ,我 们 定义 复 标量 
g = yn 


1 (8.140) 


K (8.141) 
= Dyfu i=l., W 
k=1 


也 就 是 说 ,5; 是 左 奇异 向 量 的 各 种 可 能 元 素 值 的 线性 组 合 ,所 以 G Eu AR ASE. F 
是 ,可 将 式 (8.140) 表 示 为 











S lea =1 (8.142) 


这 是 一 个 学 标 为 1 8.1,,.., | Oe BE, AR Bo A TL os.. ago FA 8.9 
所 示 的 是 在 W =2 和 o, > 5; 条 件 下 ,由 式 (8.140) 绘 出 的 轨迹 (假定 数据 矩阵 A 是 实 型 的 ) 。 








= 6) 29 fa 


i 


图 8.9 KA FAR. 140) HALE F2 o >o) 
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8.14 线性 最 小 二 乘 问题 的 最 小 范 数 解 


前 面 已 经 按 其 SVD 对 挫 阵 A 的 檀 首 做 了 一 般 性 定 关 ,下 面 我 们 将 求 出 线性 最 小 二 习 间 题 
的 解 [即使 当 nulltA) 关 多时]。 前 面 已 提 到 ,最 小 二 冬 问 题 的 解 由 式 (8.101) 纵 出 ,为 方便 计 ， 
这 里 重 写 如 下 

w= A‘d (8.143) 
Camis A* 由 式 (8.132) 定 义 。 我 们 发 现 , 当 null (A) 4 @ St TERA — Se lo) K&R & I 
量 中 ,由 式 (8.143) 定 义 的 那个 向 量 有 其 独特 之 处 ,因为 该 向 量 的 欧 氏 长 度 最 短 (Stewart,1973)。 

我 们 可 以 通过 处 理 最 小 二 乘法 中 定义 误差 平方 和 最 小 值 的 那个 方程 来 证 明 这 个 重要 结 
论 。 注 意 和 矩阵 乘积 VV" 和 UU" 都 等 于 单位 阵 , 因 此 可 从 式 (8.49) 出 发 ,并 将 它 与 式 (8.48) 结 
合 ,从 而 写 出 
= d"d — d" A% 
= d" (d — Aw) 
= d’UU4(d - AVV"w) 
= d?U(U"d — UAYY"W) 


€ 


min 


(8.144) 


“> 


b 
7 K (8.145) 
e 
-fe (8.146) 
ae 


其 中 hb 和 6 是 Wx1 向 量 ,by Me, 是 男 两 个 向 量 。 将 式 (8.103) . 式 {8.145) 和 式 (8.146) 代 人 


式 (8.144) ,可 得 
c x 0| b 
sasao e- [e oe) 


(8.147) 
agf © = aa 
C2 
要 使 os 最 小 ,必须 
tu = xb, (8. 148) 
或 者 等 效 地 
b, = =e, (8.149) 


注意 tg by 无 关 , 故 by 可 取 任意 值 。 然 而 ,如 令 b =0, 则 可 得 特殊 的 结果 
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_yl fle (8.150) 
aay 


es x! Olle 

A e 
oy 2 Ojo 
-了 | 0 fu d 


上 式 最 后 一 行 与 式 (8.143) 相 间 , 其 中 伪 逆 At 由 式 (8.132) 定 义 。 至 此 ,已 经 证 明 w 的 这 个 值 
的 确 就 是 线性 最 小 二 乘 问题 的 解 。 

此 外 ,这 样 定义 的 向 量 mw, 就 其 具有 可 能 的 最 小 欧 氏 范 数 这 一 点 来 说 , 它 是 惟一 的 。 特 别 
EAX VV” = 工 故 从 式 (8.150) 可 以 发 现 ,w 的 欧 氏 范 数 的 平方 等 于 


pw? = 13 el 


FTE. REBERNIK, BE 





w 的 欧 氏 范 数 的 平方 等 于 
hw = Pee? + Hof 


可 以 看 出 ,对 任意 的 b, <0, A 
Iw < Hw (8.151) 
RR TARER BE, (8. 143) aE SL A ew SEB SR EN 
的 惟一 解 ,即使 mlao, E w 是 惟一 能 同时 满足 如 下 两 个 要 求 的 抽 头 权 向 量 : (1) 产 生 
最 小 误差 平方 各 ; (2) 具 有 可 能 的 晤 小 欧 氏 范 数 。 在 这 个 意义 上 ,向 量 w 是 独一无二 的 。 抽 头 
权 向 量 w 的 这 个 特 解 称 为 最 小 范 数 解 。 


8.14.1 最 小 范 数 解 的 另 一 公式 


取决 于 处 理 的 是 超 定 情况 还 是 欠 定 情况 ,我 们 可 得 出 最 小 范 数 解 的 展开 式 。 因 此 ,下 面 依 
次 考虑 这 两 种 情况 。 
情况 1: 超 定 ” 在 这 种 情况 下 ,方程 的 个 数 大 于 未 知 参 数 的 个 数 及。 将 式 {8.132) 代 人 
式 {8.143) ,并 结合 分 别 由 式 (8.106) 和 式 (8.114) 给 出 的 本 矩阵 立 和 U 的 分 块 表示 ,再 对 OU, 利 
用 式 (8.112), 可 得 到 
w= (VIETIIAWIETD d 
= VE EVIAHd (8.152) 
= VEVAM 


如 在 式 (8.152) 中 利用 以 下 定义 [ 见 式 (8.107j】 
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Vi = [v Ya Y] 


则 可 在 趣 定 情况 下 得 到 w 的 展开 式 
. W vi Ald 





情况 2: Re ”对 于 第 二 种 情况 ,方程 的 个 数 KD PRAS RT RM, OY, (AE 
矩阵 A Hea TRE V 网 式 (8.123) eae ak. HERR (8.123 RA (8.143), FF ARSE (B. 106) #4 

(8.114) 4p al ean V 和 VU, 可 得 
w= {AU E EIU d) 





= ADU ES-2UPd (8.154) 
如 在 式 (8.154) 中 利用 以 下 定义 [ SR (8.118) | 
U, = [a. wy,..., Dy] 
则 可 在 欠 定 情况 下 得 到 w 的 展开 式 
Ww Ha 
“= > = ) Aa, (8.155) 


显然 ,该 式 与 超 定 情况 下 的 式 (8.153) 不 同 。 

这 里 需要 注意 的 重要 一 点 是 ,在 起 定 和 从 征 两 种 情况 下 ,分 别 由 式 (8.153) 和 式 (8.155) 给 
WA w 的 展开 形式 的 解 , 二 者 都 包含 在 式 (8.143) 的 紧凑 麦 达 式 中 。 实 际 上 ,从 数值 计算 的 角 
度 看 , 式 (8.143) 是 计算 最 小 二 乘 估计 w 的 首选 方法 。 


8.15 ” 归 一 化 最 小 均 方 算 法 看 做 欠 定 最 小 二 乘 全 计 问 题 的 最 
小 范 数 解 


在 第 6 童 中 ,我 们 得 出 了 归 一 化 最 小 均 方 (LMS) 算 法 是 约束 最 优化 问题 的 解 。 这 一 节 , 我 
们 将 根据 由 SVD 得 到 的 定理 来 讨论 这 一 算法 。 特 别 是 ,我 们 要 说 明 , 归 一 化 最 小 均 方 算法 确 
实 是 欠 定 线性 最 小 二 羔 问 题 的 最 小 范 数 解 ,该 问题 包含 一 个 具有 M 个 末 知 数 的 误差 方程 ,其 
中 型 是 算法 中 抽 头 权 疝 量 的 维 数 。 

为 了 具体 说 明 , 考 虑 误差 方程 

e(n) = d(n) — Wn + Ljuln) (8.156) 
式 中 d(n) 是 期 望 响应 ,a(n) 是 抽 头 输入 向 量 ,二 者 都 是 在 时 刻 n 测量 的 。 要 求 是 找到 时 刻 
n + LHASA Ww{n +1), 19h 


dw(n t+ 1) = Win + 1) — w{n) (8.157) 
oe AHS AR EL), BRE 
e(n) = 0 (8.158) 
将 式 {8.157) 用 于 式 (8.156) ,可 将 误差 公式 重 写 为 
e(n) = d(n) — W"(n)u(s) — EW (+1)aln) (8.159) 


现在 ,我 们 可 看 到 估计 误差 的 习惯 定义 , 即 
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eln) = din) 一 wi njut) (8.160) 
因此 ,可 将 式 (8.159) 简 化 为 
eln) = e(n) — win + lula) (8.161) 
At EARMARK. RYE SR (8.158) PR REAT 
ur (mwin + 1) = eln) (8.162) 


因此 ,可 以 将 约束 最 优化 问题 重 述 如 下 : 
在 时 刻 n+l 对 抽 共 权 向 量 的 变化 量 6w(n +1) 求 最 小 范 歼 解 ,使 其 满足 约束 条 件 
uf(n)BWwn + 1) = e*(n) 

这 是 一 个 欠 定 线性 最 小 一 乘 人 村 计 问题 。 为 了 求 得 此 问题 的 解 ,可 利用 式 (8.155) 描 述 的 
SVD。 为 了 帮助 我 们 应 用 这 个 方法 ,利用 式 (8.162) ,比较 归 一 化 LMS 算法 与 线性 最 小 二 敢 售 
计 , 并 将 其 特征 询 于 表 8.1 中 。 特 别 是 ,我 们 注意 到 纪 一 化 LMS 算法 只 有 一 个 非 堆 奇异 值 等 于 
HRADE ue FER, BP ranki W= 1. 因此 ,相应 的 左 奇 江 向量 等 于 单位 长 度 。 因 此 ， 
普及 于 这 个 表 , 由 式 (8.155) 可 得 

Swi + 1) = 





l 
EATE uln)e*(n) (8.163) 
这 正 是 我 们 在 第 5 章 导 出 的 结论 [网 式 (6.8)]。 
下 面 ,我 们 可 以 得 出 与 第 6.1 节 中 相似 的 推论 ,而 且 通 过 引 人 标 度 因 子 产 ,可 将 变化 量 
wln +1) 重 新 定义 为 
éwi(an +1) = iim ment 
等 效 地 ,还 可 以 写 为 


Wn + 1) = h(n) + Tare et) (8.164) 


这 样 ,我 们 能 够 对 抽 头 权 向 量 在 迭代 过 程 中 的 变化 进行 控制 ,而 不 需要 改变 同 量 的 方向 。 式 
(8.164) 是 归 一 化 LMS 算法 中 抽 头 权 向 量 的 更 新 公式 [ 见 式 (6.10)]。 

在 这 一 节 讨 论 中 需要 注意 的 重要 一 点 是 ,SYD 为 欠 定 线性 最 小 二 乘 估计 与 LMS 理论 之 间 
提供 了 很 有 价值 的 联系 。 特 别 是 ,我 们 已 经 证 明了 归 一 化 LMS 算法 的 权 值 更 新 实际 上 可 看 做 
欠 定 线性 最 小 二 乘 问题 的 最 小 范 数 解 。 这 个 该 算法 中 ,该 问题 涉及 到 一 个 未 知 数 个 数 等 于 抽 
头 权 向 量 维 数 的 单一 误差 方程 。 

8.1 线性 最 小 二 乘 佑 计 与 归 一 化 LMS 算法 之 间 的 对 应 关系 小 结 











Bh REHE) JA—42 LMS 算法 
PRE A u(r) 
PBS ey E d e` {ny 
复数 向 量 ¥ éwlatl) 
秩 ¥ 1 
ARË g,.b=1,...,F || utr) || 
Aca ee Lil, 1 
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8.16 ”本章 小 结 


在 这 一 章 中 ,我 们 详 纲 讨 兴 了 最 小 二 乘法 ,该 方法 是 通过 采用 批 ( 刀 ) 处 理 方 法 求解 线 人 性 自 
适应 滤波 问题 。 这 种 方法 的 显 苦 特 点 如 下 : 
© 它 是 一 种 基于 模型 的 分 块 处 理 输入 数据 的 方法 , 它 所 依据 的 模型 是 一 个 多 参数 线性 回 
HEH, 
ent SSR RARE RAR EREA RS i r E RS RA ER 
无 偏 估计 (BLUE 的 横向 滤波 器 抽 头 权 向 量 的 一 个 解 。 
最 小 二 乘法 非常 适用 于 求解 谱 佑 计 / 波 训 形成 问题 ,诸如 那些 基于 上 犁 回归 (AH+ 模 型 和 最 
小 方差 无 失真 响应 (MYDR) 模 型 的 方法 。 为 了 有 效 地 计算 最 小 二 乘 解 ,推荐 的 方法 是 直接 处 
理 输入 数据 的 奇异 值 分 解 (SVD) 方 法 。SYD 由 以 下 和 套数 定义 ， 


$ 构成 西 矩 阵 的 一 组 左 奇异 问 明 
© 构成 男 一 个 丁 矩 阵 的 -组 石 奇异 向 量 
e 相应 的 一 组 非 零 奇 异 什 


用 SVD 解 线性 最 小 二 乘 问 题 的 突出 优点 是 ,用 输入 数据 矩阵 伪 道 定义 的 解 在 数值 上 是 稳 宋 
的 。 如 果 一 个 算法 对 于 扰 的 敏感 程度 不 会 超过 研究 中 问题 所 加 有 的 ,我 们 就 说 该 算法 在 数值 
上 是 稳定 的 或 鲁 棒 的 。 

SVD 的 男 一 个 应 用 是 确定 矩阵 的 秩 。 一 个 短 阵 的 列 秩 定义 为 矩阵 中 线性 无 关 的 列 数 。 具 
体 地 ,我 们 说 一 个 天 x 天 矩阵 (开关 民 ), 当 且 仅 当 它 有 天 个 独立 的 列 时 是 满 列 秩 的 。 在 理论 
上 , 满 秩 的 确定 只 有 “是 "和 “不 是 ”两 种 情况 ,从 这 种 音义 上 说 ,我 们 碰 到 的 矩阵 要 么 是 满 秩 的 ， 
要 么 不 是 。 然 而 在 实际 中 ,由 于 数据 矩阵 的 模糊 性 以 及 运算 的 不 精确 性 (有限 精度 ) ,使 得 秩 确 
定 问题 复杂 化 了 。 在 给 定 模糊 数据 和 有 限 精度 运算 所 引 人 含 人 误差 的 情况 下 SVD AREA 
阵 的 秩 提供 了 一 种 切实 可 行 的 方法 。 

最 后 (但 不 是 最 不 重要 ) ,最 小 二 乘法 通过 SVD 提供 了 它 与 归 一 化 LMS 滤波 器 之 问 蚌 有 价 
值 的 数学 联系 ,因为 该 三 波 器 是 欠 定 最 小 二 乘 估计 问题 的 最 小 范 数 解 。 


8.17 习题 


1. 考虑 由 村 个 均 名 间隔 的 传感器 组 成 的 线性 阵列 ,在 时刻 观 测 到 的 第 个 传感器 的 输出 为 
ulk, i) HP k=1,2,...,MMi=1,2,...,n0 实际 上 ,观测 值 u1, i), uw(2, i), 
uM, DELT MARRE”, HAR nx MBER, SORT KERB ENA 


ul,1) wl,2) e ull,n) 
at | MAB B2) o 2) 
u(M,1) u( M,2) .. uM, n) 


其 中 , 列 数 等 于 快照 数 , 行 数 等 于 阵列 中 传感器 的 数目 。 请 证 明 下 列 结论 : 
(a) Mx M JEPE AY A 是 时 间 平 均 的 空间 相关 算 阵 ,这 种 形式 的 平均 假设 环境 在 时 间 上 是 平 
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an 


稳 的 。 
(b) nx n 矩阵 AA" 是 空间 平均 的 时 间 相 关 和 矩阵 ,这 种 堪 式 的 平均 假设 环境 在 空间 上 是 平 
稳 的 。 


. RD Rea w 与 式 (8.52) 多 元 线性 回归 模型 的 本 知 参数 w, 之 差 , 可 在 均 方 误差 意 


义 上 最 终 达 到 足够 小 ,我 们 就 说 最 小 二 乘 估计 w 是 一 敏和 估计 ， 由 此 有 :误差 向 量 e, 的 均值 
为 零 且 它 的 元 素 互 不 相关 ; 当 样 本 数 N 趋 于 无 穷 时 , 逆 和 矩阵 下 :的 迹 趋 于 0。 试 在 上 述 条 
HTF ,证 明 最 小 二 乘 估计 w 是 一 致 估计 。 


. 在 第 8.7 节 的 例 1 中 ,我 们 利用 一 个 3x2 输入 数据 矩阵 和 一 个 3x 1 期 望 数据 向 量 说 明了 


正 交 性 原理 的 推论 。 根 据 例 中 给 出 的 数据 ,计算 线性 最 小 二 乘 滤波 器 两 个 抽 头 权 值 。 


. 在 线性 预测 的 自 相关 法 中 ,可 通过 使 误差 能 量 


€ = Diy 
达到 最 小 来 确定 模 向 预测 器 的 抽 头 权 向 量 , 式 中 fC) Re. EA Td) Re 

滤波 器 的 传递 函数 H(z) 是 最 小 相位 的 ,因为 其 根 严 格 位 于 z 平 而 上 的 单位 圆 内 。 
[提示 ;1) 将 村 阶 传递 函数 月 (z) 表 示 为 一 个 简单 的 零 因 子 (1- sz”) 和 某 一 函数 H a) 

乘积 ,然后 使 预测 误差 能 量 关 于 零点 z 的 幅度 为 最 小 。 
2) 利用 柯 西 - 许 反 贡 不等式 
oo "0 2f œ 1/2 
Re| Seret- netm] =] Sls] | Seren DF) 


4% BRS g(n)=e%e(n-1l) MH ERARA, RP n=1,2,...,%.] 


, 图 P8.1 ea SEA AT RE SA ui suli- 2)... 


uli- OM w(i) 进 行 线性 预测 ,并 将 预测 结果 记 为 x( 店 。 试 求 出 使 前 向 预测 误差 平方 和 
G= 2 Je 

为 最 小 的 抽 头 权 向 量 Ww[ 式 中 的 A C ER RS RA PBR: 

(a) 预测 器 抽 头 输 和 人 的 Mx MH. 

(b) 预测 器 抽 头 输入 与 期 望 响应 w{ 站 之 间 Mx 1 的 互相 关 问 量 。 

{e) E 的 最 小 值 。 


输入 信号 
uli) 





uli- M+1} 





P 8.1 WAS AAi AMARA 
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6. 图 P8.2 firk- -ARA Be OS u aR SRA ei- M41), 


oo 


1) u (IJRA uli- MOET RE ERR uC- M) WRH 
使 后 向 预测 误差 平方 和 


N 
Ep > > lbs)? 
ro Mr 


4y Bp PRE AR wl PAY by (让 是 后 向 预测 误差 ]; 并 求 以 下 参数 : 
(a) 抽 头 输入 的 M x M 相关 矩阵 。 

(b) 抽 头 输 大 与 期 望 响 应 4(i - MZE Mx 1 互相 关 向 量 ，。 

(co) 多, 的 最 小 值 。 


ati M} 





图 了 P8.2 横向 结构 的 后 向 预测 误差 滤波 器 


. 试用 直接 法 导出 式 (8.31) 中 以 展开 形式 给 出 的 正则 方程 组 , 即 用 协 方差 方法 使 误差 的 平方 


和 最 小 。 


. 应 用 于 MVDR 波束 形成 器 的 一 种 简单 的 正则 化 形式 是 将 计算 M x M 时 间 平 均 相 关 和 矩阵 D 


i) zh (8.92) EEH 


$= S u(nju"(n) + él 


ep Mx 上 SE S 是 正则 化 参数 。 由 于 这 个 原因 ,将 这 种 形式 的 正则 化 称 为 对 角 
线 加 载 (diagonal loading)。 试 证 明 , 用 这 种 方式 进行 正则 化 的 MVDR 波束 形成 器 ,可 通过 使 
代价 函数 


Srey = Š fou} + a(w's(a) — 1) + dw? 
n=t 


关于 权 向 量 w 的 最 小 化 来 获得 。 式 中 符号 的 含义 与 第 8.10 节 一 致 :s(8) 是 波束 转向 向 量 ， 
A 是 拉 格 朗 日 乘 子 ,6 是 正则 化 参数 。 


. 考虑 一 个 应 用 前 向 和 后 向 线性 预测 (FBLP) 的 自 回 扫 谱 估计 过 程 。 图 P8.1 和 图 P8.2 分 别 


给 出 用 FIR 滤波 器 作为 前 向 和 后 向 预测 误差 滤波 器 的 情况 。 待 最 小 化 的 代价 函数 定义 为 
$= $ lll + [bul 


i-M+1 
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SUPA fe OAM 上 (分 别 表示 前 向 和 后 向 预测 误差 。 
(a) 导出 使 代价 函数 如 最 小 的 抽 头 权 向 量 Ww 的 公式 

(b) 确定 代价 函数 的 最 小 值 8 ain 

(c) 关 定 义 预 测 误差 涨 波 器 的 (时 +1) xi ARIA 


ey 
[| 


式 中 的 0 表示 全 零 向 量 。 试 确定 相关 和 矩 阵 号 ,并 证 明 惠 是 完全 埃 尔 米 特 对 称 的 , 即 证 明 
OK = GHk) OS, K) SM 


并 设 


和 
0 


10. 考虑 一 般 的 信号 十 扰 比 最 大 化 问题 


wt gs w 
max H 
" w” Rw 





它 满足 附加 的 线性 约束 条 件 
CNW = Éy- 
式 中 ,w 是 自 适 应 波束 形成 器 M x 1 的 权 向 量 ,s 是 Mx 复 值 波束 转向 向 量 ,好 是 干扰 信 
AQ M x MARIA CSE, Cy. EM x (ON - D REAR, fyo N-11) x1 AR 
量 。 
(a) 证 明 该 约束 优化 问题 的 解 为 
w, = R°C(C*R CY + 
式 中 ,C 是 Mx NM, CEIR Cy IPS s 得 到 , 问 量 f 通 过 对 
f，, 增 加 固定 值 有 得 到 ,为 是 转向 向 量 s 方向 上 的 增益 (辐射 模式 ), 即 
wis = fh 


(hb) 求 出 应 用 (a) 中 定义 的 最 优 解 得 到 的 最 大 信号 干扰 比 。 





D “习题 切中 的 约束 信息 于 扰 比 最 大 化 问题 ,可 追 湖 到 Fros 的 早期 论文 {19 和 2)。Abramovich(2000) 研 究 使 用 相关 矩阵 
i 它 由 输入 向 量 n(n} 的 下 个 训练 样本 得 到 ] 的 最 大 和 伺 热 估计 


或 对 角 线 “加 载 "全 计 

R, = R+ al 
产生 的 * 驯 耗 "加 子 的 概率 分 布 。 上 式 中 ,是 单位 阵 , 人 是 加载 因 于 (正则 化 参数 )。Abeammiah 给 出 的 统计 分 析 对 
分 析 线 性 约 东 样本 夭 阵 求 逆 算 法 的 性 能 具有 特别 的 意义 。 这 一 算法 适合 于 训练 样本 数 有 限 的 空中 和 地 平面 瞪 达 
应 用 。 


13. 


14, 
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Co) 求 当 附 加 的 线性 约束 条 件 为 专 时 的 最 优 权 向 量 及 相应 的 最 大 信号 干扰 比 。 
(d) 给 出 对 未 知 相关 年 阵 及 的 估计 过 程 。 


1 o- 
E ee 7 
试用 以 于 两 种 不 癌 的 方法 求 该 2x2 XA eA SF a - 
(a) 和 矩阵 积 ATA 的 特征 分 解 。 


(b) ERER AA 的 特征 分 解 。 
HE MOSK EE A 的 伪 道 。 


, BA 


. 考虑 一 个 2x2 复数 短 阵 


a ee | 
按 以 下 要 求 计算 A Mat RHA AR 
(a) HEIER A”"A, 求 出 它 的 特征 值 和 特征 向 量 . 
(b) 构造 矩阵 AA” , 求 出 它 的 特征 值 和 特征 向 盟 。 
(c) 找 出 (本 和 (b) 中 所 求 出 的 特征 值 和 特征 向 量 与 和 的 奇异 值 和 奇异 向 量 的 关系 - 
参照 第 8.7 节 的 例 1 给 出 的 数据 ,完成 以 下 计算 ， 
(a) 计算 3x2 数据 窍 阵 A Me. 
(b) 利用 (a) 中 得 到 的 伪 逆 A' ,计算 线 住 最 小 二 乘 滤 波 器 的 两 个 抽 头 权 值 。 
本 题 中 ,我们 应 用 奇异 值 分 解 的 思想 ,来 研究 式 (6.12) 给 出 的 归 一 化 LMS 算法 权 值 更 新 表 
达 式 的 推导 。 这 个 问题 可 以 看 做 是 第 8.15 节 中 所 述 问题 的 延伸 。 试 求 系数 向 量 


oer es bs | 


的 最 小 范 数 解 ,使 得 满足 方程 


x"(nje(a + 1) = e*(n) 


TE 


其 中 


并 由 此 证 明 


z u(nje*(n) 


。 P. T 
win +1) = wa} + a+ Juta 


AF 85>0,5 是 步 长 参数 。 


. 假设 给 定 一 处 理 器 ,可 用 来 计算 K x MBE REE A 的 奇异 值 分 解 ,试用 该 处 理 器 推出 计 


算式 (8.85) 中 权 向 量 a 的 框图 ,该 式 定义 了 谱 估 计 中 MVDR 问题 的 解 。 
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在 本 章 中 ,我 们 将 推广 最 小 二 乘法 的 应 用 ,以 使 推出 一 种 设计 和 白 适 应 横向 滤波 器 的 递归 算 
法 。 即 给 定 n -上 次 选 代 恋 波 内 抽 头 权 向 量 最 小 二 乘 舍 计 ,依据 新 到 达 的 数据 计算 = KER 
权 向 量 的 最 新 个 计 。 我 们 把 这 一 算法 称 为 递归 最 小 二 乘 (RLS, recursive least-sqmmares) 算 法 
(TEBE AE ) o 

在 RLS 滤波 器 的 推导 过 程 中 ,我 们 首先 回顾 最 小 二 乘法 的 一 些 基 本 关系 式 。 然 后 ,应 用 
矩阵 代数 中 和 抢 阵 求 道 引 理 所 揭示 的 关系 ,导出 RS BEE. RIS 滤波 器 的 一 个 重复 特点 是 , 它 
的 收 敏 速率 比 一 般 的 LMS 滤波 器 快 一 个 数量 级 。 这 是 因为 RL BIR a A a AEE 
阵 之 逆 , 对 输入 数据 (假定 这 些 数据 的 均值 为 零 ) 进 行 了 白化 处 理 。 然 而 ,性 能 的 改善 以 RLS 
滤波 器 计算 复杂 性 的 增加 为 代价 。 


9.1 预备 知识 


在 最 小 二 乘法 的 递归 实现 中 ,我 们 从 给 定 的 初始 条 件 出 发 ,通过 应 用 新 的 数据 样 值 中 所 包 
含 的 信息 对 旧 的 知 值 进行 更 新 。 因 此 我 们 发 现 , 可 测 数据 的 长 度 是 可 变 的 。 因 而 ,把 待 最 小 化 
的 代价 函数 表示 为 (5), 其 中 n 是 可 测 数 据 的 可 变 长 度 。 男 外 ,习惯 上 还 在 6(n) 的 定 多 中 引 
和 加权 因 子 。 于 是 ,可 以 写 出 


€(n) = > Ale. Dle É (9.1) 
其 中 e( 间 是 期 望 响应 dla) CPA X uG), uli -1) e uli- M+ DARE 


器 输出 y{ 让 之 差 , 如 图 9.1 所 示 。 即 
e{i) = d(i) ~ y{i) 


= d(i) — w" (nyu?) (9.2) 
其 中 uli) 是 i 时 刻 的 抽 头 输入 向 量 ,定义 为 
afi) = [u ui 1), u(i M+ (9.3) 
式 中 w(n) 是 n MAARRE EA 
win) = (welt), wt) waala] (9.4) 


注意 ,在 代价 函数 8(n) 定 义 的 观测 区 间 gign 内 ,横向 滤波 器 的 抽 头 权 值 保持 不 变 。 
式 (9.1) 中 的 加 权 因 子 Bn, 站 满足 如 下 关系 
0< Bini} <1 i= 1,2,...,# (9.5) 


一 般 说 来 ,加 权 因 子 8(na ,六 的 使 用 是 为 了 保证 “遗忘 掉 久 远 的 过 去 数据 ,以 便当 滤波 器 工作 
在 非 平 稳 环 境 时 ,能 跟踪 观测 数据 的 统计 变化 。 通 常 所 用 的 加 权 因 子 是 指数 加 权 因 子 , 或 所 谓 
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遗忘 因子 ,定义 为 
Bin i= Aari i= 1,2,7 (9,6) 


式 中 4 EAn ,但 又 小 于 工 的 正常 数 。 当 1 = 1 RhE, Bea, 
1- 4 的 倒数 可 以 用 来 衡量 算法 的 记 亿 能 力 ; 而 4 = 1 的 特殊 情况 , 则 对 应 于 无 限 记 忆 。 


输入 信号 
uli} mi ~ 1) re Ef | ute ~ M ~ 1) 


图 9.1 具有 时 变 抽 头 权 值 的 横向 滤波 器 








ee 
vi) 


9.1.1 正则 化 


最 小 二 乘 估计 和 最 小 二 乘法 一 样 ,是 一 个 病态 的 求 逆 癌 题 。 在 该 问题 中 ,给 定 构成 抽 头 输 
人 向 量 wu(n) 的 输入 数据 和 相应 的 期 望 响应 4(n)( 其 中 n BER) ,要 求 估计 出 多 重 园 归 模型 
中 的 未 知 参 数 向 量 ,该 向 量 与 a(n) 和 ula) AK. 

最 小 二 乘 估 计 的 病态 特性 源 于 以 下 原因 : 

9 给 人 数据 中 的 信息 不 足以 惟一 地 构建 给 入 输出 间 的 峡 射 关系 。 

在 输入 数据 中 不 可 和 避免 地 存在 着 噪声 或 不 精确 性 ,这 为 构建 给 人 输出 岗 射 关系 增加 了 

不 确定 性 。 

为 使 估计 问题 变 为 非 病 态 ,需要 某 种 与 输入 输出 映射 关系 有 关 的 先 验 信息 。 这 意味 着 必须 扩 
EAD BRAK ,使 其 能 考虑 先 验 信息 。 

为 满足 这 一 需要 ,我 们 把 待 最 小 化 的 代价 函数 扩展 为 两 部 分 之 和 


g(a) = > eel + BA | w(n) |? (9.7) 


GAE, EBERT UI PRAY HS BE : 
1) 误差 加 权 平方 和 
Dae? = ar ata) - w(n)u(i))? 


i=1 


它 与 输 和 人 数据 有 关 。 这 个 分 量 反映 出 期 望 响应 d( 门 与 滤波 器 实际 响应 y{ 让 之 间 的 指 
AMER, H y{ 让 与 抽 头 输入 向 量 ul MRR ARRAN 


y(i) = w" (aufi) 
2) 正则 化 项 
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BA" Iw ny? = Saw! (nw 7) 


式 中 证 是 -一 个 正 实数 , 称 为 正则 化 参数 。 除 了 因子 总 " Sb EW Em A HR 
向 量 w(n)y。 将 这 一 项 包含 在 代价 函数 中 ,以便 通过 平滑 作用 来 稳定 递归 最 小 二 乘 问 
题 的 解 。 

从 严格 意义 上 说 ,a8 || woe) |7 项 是 正则 化 的 近似 形式 。 原 因 有 两 个 :首先 ,指数 如 极 央 
FAMFO<ASI Zils MM. 4A<1 WA Bae 的 增 大 趋 于 零 . 这 意味 着 随 着 时 间 的 推 
EE AS" | (win) I? E EDZE RE). HR, WHEA R Hg 
是 , 正则 化 项 应 是 3 DEF) |? 628, 其 中 Fiw) 是 由 RLS 滤波 器 实现 的 输入 输出 映射 半 
系 , 耻 是 营 分 算 子 中。 式 (9.7) 的 正则 化 项 通常 用 在 RLS 滤波 器 设计 中 ， 


9.1.2 正则 方程 的 变形 


将 式 (9.7) 展 开 并 进行 整理 ,我 们 发 现 ,在 代价 项 数 反 站) 中 增加 正则 化 项 aa l woa) IP, 
相当 于 将 抽 头 输入 向 量 开店 的 M x MODE By CAB BE Ron 


(72) = Px lo") 十 A'I (9,8) 





式 中 I 是 Mx MBE. REAR E ERARA REREN :: Ee ARS n) E 
从 n -OFGHSETHEHE CIESH. BA. RHE E AKERE HE A A MR 
可 向 滤波 器 抽 头 输入 与 期 望 响应 之 间 的 上 Fx 1 时 间 平 均 互 相关 向 量 z(n) 为 


z(t) = > A” ulijd*(i) (9.9) 





它 将 不 受 正 则 化 的 影响 ,此 处 依然 假定 使 用 预 加 窗 法 . 
根据 第 8 章 中 讨论 的 最 小 二 乘法 ,可 使 式 (9.7) 氏 价 函 数 儿 (nm) 获 得 最 小 值 的 最 优 戏 x1 抽 
头 权 向 量 w( ?由 正则 方程 定义 。 递 归 最 小 二 乘 问题 的 正则 方程 可 用 矩阵 形式 写 为 


D(n)w(n) = z(n) (9.10) 
这 里 的 O(n) AM a(n) 5d eh (9.8) AIL (9.9) EX 
9.1.3 O(n) fl z(n) 的 递归 计算 
将 对 应 于 i = 的 项 与 式 (9.8) 右 边 的 求 和 项 分 开 , 可 写 出 
Din) = a| De) + au + u(n)u" (1) (9.11) 


根据 定义 , 式 (9.11) 右 边 括 导 内 的 表达 式 等 于 相关 矩阵 四 (= - 1)。 于 是 ,可 得 用 于 更 新 抽 头 输 





CD EDR HOOK GF Tikhanof1963)。 对 于 这 -问题 的 详细 讨论 ,可 徐 见 Tikhenov 和 Arsenin( 1977 ) , Kirech (1996) EA Z 
Haykin( 2000) . 
用 来 处 理 适当 正则 化 项 | Cw) I? BAHT a ae E BL A TB] named space) ] 思 起 的 基 
AE, FRR- TERURAN LAATRE IAE , 连 锋 函数 表示 为 向 量 。 通 过 应 用 这 个 几何 轿 像 ,可 建立 
线性 益 分 算 子 和 和 矩阵 之 间 的 蜂蜜 联系 {Laneas,1964)。 FA FES I l 表示 作用 于 DAF(W) 所 属 的 函数 空间 的 一 个 
范 数 。 





ZO 送 归 最 小 二 乘 自 适应 滤波 器 347 


AFH RIA 
Pin) = AP(n - 1) - u( ru! (i) (9.12) 
HEP @(n DEHAKI EA, eR u(tnju”(n) 在 更 新 过 程 中 起 着 “修正 "项 的 作 
用 。 注 意 , 式 (9.12) 的 递归 过 程 与 初始 条 件 无 关 。 
类 位 地 ,可 用 式 (9.9) 导 出 抽 尖 输入 与 期 沁 响 应 之 间 互 相关 向 量 的 更 新 公式 
z(n) = Ag(n — 1) + und*(n) (9,13) 
为 了 按 式 (9.8) 主 算 抽 头 入 向 量 w(na) 的 最 小 二 乘 估计 ,必须 确定 相关 矩阵 Din) H 
然而 在 实际 中 ,我 们 通常 尽 其 避免 这 样 做 ,因为 这 种 运算 非常 样 时 ,特别 是 当 抽 闫 数 型 很 大 
时 。 另 外 ,我 们 希望 能 够 递归 计算 出 = = 1,2,…, 名 时 抽 头 权 向 量 wtn} 的 最 小 二 乘 估计 。 我 
们 发 现 , 利 用 和 矩阵 代数 中 矩阵 求 送 引 理 , 可 以 实现 上 述 两 个 日 标 。 下 面 我 们 将 讨论 这 一 问题 。 


9.2 ERKE 


BAMBARA Mx MESH, CMNSNKRBA 


A=B'+cpD'c# (9.14) 
其 中 ,D 是 Nx MM 正定 阵 ,C 是 Mx NSBR, ARERR S| A Ra N 
A” = B — BC(D + CBC) CB (9.15) 


要 证 明 该 引 理 , 可 将 式 (9.14) 与 式 (9.15) 相 乘 AAA SRR TS Al 
习题 2)。 惩 阵 求 送 引 理 表明 ,如 果 给 定 一 个 如 式 (9.14) 定 义 的 托 阵 A, 我 们 可 以 通过 式 (9.15) 
计算 A-'。 实 际 上 ,上 面 两 个 方程 描述 了 这 一 引 理 。 和 矩阵 求 逆 引 理 在 文献 中 也 称 为 Woodbury 
EFA, 

EFP, Ri AEA ERRA E PS A wD 
递归 公式 。 


9.3 ”指数 加 权 递 归 最 小 二 乘 算 法 


假定 相关 矩阵 中 (nm) 是 非 奇 异 的 ,因而 它 可 道 。 我 们 对 式 (9.12) 所 表示 的 递归 方程 应 用 定 
阵 求 道 引 理 , 首 先 做 如 下 设 定 
A = Din} 
B = A®(n — 1) 
C = u(n) 
D=1 








DEPRES BEAU HACIA RAE Householder( 196442 JIN F Woodbury(1950)。 这 一 引 理 首先 被 Kailath 应 用 
在 滤波 理论 中 。 他 用 这 一 引 坚 还 明 ot eH EP A Le fa A 
计 与 维 纳 滤波 器 是 等 价 的 (Kailath,1960)。 答 阵 求 逆 引 理 的 早期 习 用 还 包括 Hot1963) 的 工作 。 SE ER et S| Ah 
一 个 不 寻常 的 应 用 来 自 Brooks 和 Reed 的 HE, HEAP FE R2C 2 | BLERA , do a Jak Ai Se TALL PS Hb 
ERN A Dek BS Ae GR A SSG AY Brooks & Reed, 1972) (ALIA 2 章 中 的 习题 18)。 
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WR Ree ae AA a E, A SF 
A ÀO n — Dura (n)® i(n — 1) 








Dn) = VOM — 1) L+ A'u (nbn — yul) (9.16) 
为 了 方便 计算 , 令 
P(n) = (n) (9.17) 
和 
kin) = AE un) (9.18) 


Lt APO — 1a) 
用 上 面 的 定义 ,可 将 式 (9.16) 改 写 为 

P(n) = A 'P(n -1 一 AuasfePfa 1) (9.19) 
M x M IERE PCr HY ARG ERE ED M x1 向 量 kin) OY ge a it] SL, J A Se i BY 
原因 。 式 (9.19) 是 RIS 算法 的 Riecati 方程 。 

整理 式 (9.18)} ,可 得 
k(n) =A'P(n — Ljun) ~ A'k(nju (n) P(n — lu(n) 

= [A'P(n — 1) — AKO)" (n)P(a — 1)ju(n) 
从 式 (9.19) 可 以 看 出 , 式 (9.20) 右 边 最 后 一 行 括号 中 的 表达 式 等 于 PCn)。 因 此 ,我 们 可 以 将 
式 (9.20) 简 化 为 


(9,20) 


k(n) = P(n)u(r) (9.21) 
这 一 结论 ,连同 PCa) =@'(n) ,可 以 用 来 定 六 增益 向 量 
k(n) = ®'{n)u(n) (9.22) 


换 句 话说 ,增益 向 量 k(n) SE D n EEE RS A a(n) 。 
9.3.1 抽 头 权 向 量 的 时 间 更 新 


下 面 ,我 们 要 导出 更 新 抽 头 权 向 量 最 小 二 乘 估计 w(n) 的 递归 公式 。 为 此 ,用 式 (9.8) , 式 
(9.13) AIA (9. 17) AAA on 次 选 代 时 的 最 小 二 乘 佑 计 
win} = Bn)z(n) 
= P(n)z(n) (9.23) 
= AP(n)z(n — 1) + P(n)uln)a*(n) 


将 式 (9.23) 右 边 第 一 项 中 P{n) 用 式 (9.19) 代 替 , 可 得 
Wn) = Pin — Ljz{n — 1) - k(n)” (n)P{a — 1)z(tn — 1) 
+ Pinju(aja*() 
= {n ~ Lefn — 1) — k(n)” ng (n -= Lela — 1) (9.24) 
+ P()u(ajd*(n) 
= @(n — 1) — k(n)? (n}W(n — 1) + P{njuln)d*(n) 


T ER PC nH aT ar RLS 估计 we oe AERA TRETE o AE — 1 BL 8. Bra SRR He) 
型 )。 对 内 nm 的 这 一 解释 来 自 本 书 第 章 第 8.8 节 介 绍 的 线性 最 小 二 乘 佑 计 的 性 质 2。 
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最 后 ,应 用 PC(n)u(n) 等 于 增益 问 量 k(n)[L 见 式 (9.21)],d 得 更 新 抽 头 权 向 量 的 递归 方程 为 
w(n) = win 1) + k(n) d*(n) - a {n(n — 1)] 


= W(n — 1) + k(n)é*(n) (9.25) 


其 中 
Eln) = d(n) — (nw*(n — 1) 
= d(n) ~ win — 1)a(n) 


是 一 个 先 验 估计 误差 。 内 积 Ww (2 - 1)u{n) 表 示 基 于 nm -1 时刻 抽 头 权 向 量 最 小 二 乘 信 计 旧 
值 的 期 望 响应 dC A. 

根据 调整 抽 头 权 向 基 的 式 (9,25) 和 表示 先 验 估计 误差 的 式 (9.26), 可 用 图 9.2(a) 所 示 的 
HARA R/) RAK. 

一 般 说 来 , 先 验 估计 误差 &(n) 不 同 于 下 式 的 后 验 估 计 误 差 

e(n) = d(n) 一 w"(nju(n) (9.27) 

其 计算 涉及 抽 涉 权 向 量 在 时 刻 n SRO A ip eee, SEAR ERT AT ORE &{n) 视 为 
更 新 抽 头 权 向 量 之 前 efm) 的 暂时 值 。 但 要 注意 的 是 ,在 导 出 式 (9.25) 递 归 算 法 的 最 小 二 乘 优 
化 问题 中 ,我 们 实际 上 是 基于 etn) 而 不 是 基于 &(n) 使 代价 函数 8{n) 最 小 。 


9.3.2 RLS 算法 小 结 


式 (9.18) . 式 (9.26)、 式 19.25) 和 式 (9.19) 组 成 了 RIS 算 法 ,并 在 表 (9.1) 中 总 结 。 特 别 要 
注意 的 是 , 式 (9.,26) 描 述 了 该 算法 的 滤波 过 程 ,所 此 激励 横向 滤波 器 以 计算 先 验 估计 误差 
#(n)。 式 (9,25) 描 述 了 算法 的 自 适应 过 程 , 据 此 可 通过 在 其 过 去 值 的 基础 上 增加 一 个 量 来 递 
推 抽 头 权 向 其 ,该 其 等 于 先 验 估计 误差 &(n) 复 共 红 与 时 变 增益 向 量 k(n) 的 乘积 (增益 向 量 ” 
由 此 得 和 名)。 式 (9.18) 和 式 (9.19) 使 得 我 们 能 够 更 新 增益 向 量 本 身 。 上 述 RLS 算法 的 一 个 重 
要 特点 是 ,每 一 次 选 代 中 的 相关 和 矩阵 下 (ma) 的 道 矩阵 为 简单 的 标量 相 除 所 代 赫 。 图 9.2(a) 给 
出 RLS 算法 的 框图 ,图 9.2(b) 则 是 RLS 算法 的 信和 号 流 图 。 

#91 ASAE 


(9.26) 


Reith 
w(0) =0 
P(O) = 8-11 
a 高 SNR BT RRA BIE A 


= = SNR BY Ht BS TE He 
对 每 一 时 鹿 ,n =1,2,… 计 算 


a(2)=P(n- ula) 


k(n) = x(n) 


A+u'(ajx(n} 


&(n) = dn) -w"(a- Dun) 
wn) =wla-1)+k(n)e" (Cn) 


Played P(a-1)-A7'hCnju? (en) Pla - 1) 
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w(n — Luin) 


输出 











单位 负 反 局 
(b) 入 号 流 图 


9.2 BRIS 算计 


注意 ,在 表 9.1 的 总 结 中 ,增益 向 量 kn) 的 计算 分 两 步 进 行 ， 
首先 ,计算 用 rn Rae Pa. 
$$ 第 二 ,用 x(n) 计 算 kla), 
从 有 限 精度 运算 的 角度 看 ,分 两 步 计算 k(n) 比 直接 用 式 (9.18) 计 算 k(n) 更 可 取 ( 第 13 BA 
关于 这 一 问题 的 更 详细 的 讨论 )。 
为 对 RLS 滤波 器 进行 初始 化 ,需要 指定 两 个 量 ，: 
e 初始 权 向 量 Ww(0)。 习 价 上 令 w(0) =0. 
e HE DCO), AROLD FAD n=0, 和 如果 使 用 预 加 窗 , 可 以 得 到 
@(0) = ot 
其 中 人 是 正则 化 参数 。 参 数 OHRESHPRKAK, BBM SUMS; Rie Re 
则 取 较 大 值 。 这 样 做 的 合理 性 可 民 在 正则 化 的 意义 上 得 到 证 明 。 


9.4 正则 化 参数 的 选择 


在 Moustakides 的 详细 研究 (1997) 中 ,评价 了 在 平稳 环境 下 RLS HAASE. EA 
特殊 的 可 变 参数 : 

e 抽 头 输 入 数据 的 信 噪 比 (SNR) ,这 个 量 由 流行 的 运行 条 件 决定 。 

se 正则 化 参数 9, 它 由 设计 人 员 控制 。 


£9 递归 最 小 二 条 自 适 应 泪 滤 器 351 


为 了 总 结 Moustakides 研究 成 果 的 实验 条 件 , 用 FI(x) 表 下 一 个 关于 x HERRAR, Of) Bers 
一 个 关于 x 的 非 负 标量 函数 。 其 中 ,变量 * BT Red... FR RTPA ee 


Bey) (9.28) 
这 里 存在 独立 于 变量 x 的 常数 c, 和 c ,使 得 
cif(x) = F(x) = cof(x) 对 所 有 xe of, (9.29) 
BHP j Fx) 是 F(x) 的 矩阵 范 数 ,定义 为 
F(x) = (tr [R FO) DD (9.30) 


(9.28) PF AAGE MASE SOR ERA GE 
如 第 9.3 节 中 所 指出 的 那样 ,RLS Be Beas A a 1b ELE eT Te) P RIE PEI I a, 
即 


p0) = él 

正则 化 参量 8 Sf NAGA Moustakides( 1997) 给 出 详细 说 明 。 特 别 是 ,中 (全 可 表示 为 
P0) = u“ Ro (9.31) 

其 中 

wala (9.32) 
R 是 一 个 确定 的 正定 阵 ,定义 为 

Ru = oI (9.33) 
其 中 ,o? 是 数据 样 值 xz(z) 的 方差 。 因 此 ,根据 式 (9.31) 和 式 {9.33) ,正则 化 参量 8 可 定义 为 

Ô = oye" (9.34) 


[在 第 14 章 中 已 经 证 明 ,RIS 算法 中 的 因子 1 -4 与 LMS 算法 中 的 步 长 参数 o 的 作用 相似 。 
因此 ,引入 式 (9. 辽 ) 的 记号 。1 
参数 a 为 区 分 相关 和 矩阵 鲁 (n} 初 始 值 的 大 、 中 小 提供 了 数学 基础 。 特 别 是 对 下 列 情 况 


4e[d, po] 其 uo K1 (9.35) 
我 们 可 根据 式 (3.31) 的 定义 来 区 别 以 下 三 种 情况 : 
1) a >0, 对 应 于 小 初始 值 三 (0) 。 
2) 0> as - 1, 村 应 于 中 等 初始 值 号 (0)。 
3) -1 之 a; 对 应 于 大 初始 值 时 (0)。 
有 了 这 些 定义 和 三 种 不 同 的 初始 条 件 ,我 们 可 以 总 结 出 式 (9.35) 支 配 下 RLS 算法 初始 化 
过 程 中 有 关 正 则 化 参数 8 的 选择 方法 (Moustakides,1997) 如 下 : 
1) 高 信 嗓 比 ; 当 抽 头 输入 噪声 电 平 低 ( 即 输 入 SNR 较 高 ,如 30 dB 或 更 高 数量 级 ) 时 , RLS 算 
法 呈现 指数 级 的 快速 收 化 速率 ,只 要 相关 和 矩 阵 以 足够 小 的 范 数 初始 化 。 典 型 地 ,通过 设 
定 a=1 来 满足 这 个 要 求 。 随 着 a 减 小 到 零 [ 即 随 着 名 (0) 的 年 阵 范 数 增加 ] ,RLS 算法 的 
WHE SE Fe 
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2) PSR EPS SNR 环境 下 ( 即 输 入 SNR 为 10 曲 数 量 级 时 ),RIS 算法 的 收敛 速 
率 比 高 信 品 比 情况 下 的 最 佳 收敛 速率 要 差 , 但 是 ,RLS 算法 的 收 伊 特 性 对 -1<a <0 
范围 内 和 矩阵 (0) 范 数 的 变化 不 敏感 。 

3) 低 信 品 比 :最 后 一 点 , 当 抽 头 输入 的 噪声 电 乎 较 高 ( 即 输入 佳品 比 SNR 为 - 10 dB 数量 
组 或 更 低 ) 时 ,用 具有 较 大 矩阵 范 数 的 相关 年 孟 CO) Xt RIS 算法 初始 化 ( 即 < 过 - 1) 
更 可 取 , 因 为 这 种 条 件 可 以 产后 最 好 的 全 局 性 能 。 

这 些 结论 对 平稳 环境 或 慢 时 变 环境 成 立 。 但 基 , 如 果 环 境 状态 突变 ,而 日 这 一 变化 发 生 在 

RIS 滤波 器 达到 稳 态 时 , 则 该 滤波 器 就 会 将 这 一 突变 视 为 用 较 大 的 下 (0) 进 行 新 一 轮 的 初始 
化 ,这 里 的 n = 0 对 应 于 环境 突变 的 那个 瞬间 . 在 这 种 情况 下 ,最 好 停止 RES 滤波 器 的 工作 ， 
改 用 一 个 较 小 的 各 (0) 进 行 筷 始 化 而 重新 开始 新 一 轮 的 迁 代 。 


9.5 误差 平方 加 权 和 的 更 新 递归 


当 抽 头 权 向 量 等 于 其 最 小 二 乘 估计 w(n) 时 , 误 养 平方 加 权 和 可 达到 最 小 值 & tn)。 为 
计算 #。。(n) ,可 用 关系 式 [ 见 式 (8.40) 第 一 行 ] 
Cain (72) = Ela) = z"(n)w(n) (9.36) 
其 中 tn) 定义 (使 用 本 章 的 表示 ) 为 


En) = SX la 





(9,37) 
= AE (n = 1) + laef 
因此 ,将 式 (9.13) FR(9,25) AI (9.37) ARAA (9. 36) ,可 得 
Enika) = Ala — 1) — zn — 1)W(n — 1)] 
+ d(n)[d*(n) — ul (njw(a — 1)] (9.38) 


~ z” (n)k(n)$*({n) 
Est ASCP 2 JE BRAKE. HRS MOAR MES PH 
Se. (n-1). Ab RSM AOS Pa eS FAT Re (n) 
ite, SAE A k(n HE RRR AR 
24 (njk(n) = 22 (nj) nun) 
= [@'(n)z(n)|Fulz) 


= w'(n}a(n) 


上 式 中 ,第 二 行 应 用 了 相关 矩阵 是 (nm ) 的 埃 尔 米 特 性 质 ,在 第 三 行 用 到 了 三 (nj)z(n) 等 于 最 
小 二 乘 估计 mw(n)。 因 此 , 式 (9.38) 可 简化 为 
Emin() = ABni — 1) + d(n)é*(n) — w8(n)u(n)e*(n) 
= Abpig(n — 1) + €*(n)[d(n) — W" (nun) | (9.39) 
= Aminal — 1) + EF (najela) 
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其 中 eln) 是 后 验 信 计 误 差 。 式 (9.39) 是 更 新 误差 加 权 平 方 和 的 递归 公式 。 由 此 可 见 ,&(n) 的 
复 共 堪 与 etn) 的 乘积 表示 更 新 过 程 中 的 修正 项 。 注 意 ,该 乘积 是 实数 ,这 意味 着 ,总 有 
élnje*(n) = é*{n)etn) (9.40) 





9.5.1 收敛 因子 


式 (9.39) 禄 及 两 种 不 同 的 知 计 误差 ; 先 验 估计 误差 (mn) 和 后 验 估 计 误 差 e(n) ,它们 之 间 
有 着 本 质 的 联系 。 为 了 建立 这 两 种 估计 误 痉 之 间 的 联系 ,可 从 式 (9.27) 的 定义 出 发 ,将 式 
(9.25) 代 入 式 (9.27) ,得 
e(n) = d(n) — [Wn - 1) + k(n)é*(n)) ulan) 
= d(n) — (no n(n) 一 (rn)u(n)é(n) (9.41) 
= {1 = Kk? (nal) éla) 
上 式 中 的 最 后 一 行 , 应 用 了 式 (9.26) 的 定义 。 后 验 估计 误差 e(n) 与 先 验 估计 误差 E HE 


值 称 为 收 伍 因子 , 记 为 YX(a)。 因 此 ,可 以 写 出 


_ eln) 
y(n) E Eln) 


= 1— k”(nju(r) 


其 值 由 增益 向 量 k(n) 和 抽 头 输入 向 量 n(n) 惟 一 确定 。 


9.6 示例 :单个 权 值 自 适应 噪声 消除 器 


下 面 ,我 们 考虑 如 图 9.3 Bra A Be RAR ee. PAA EE fa 
号 d(nw)( 由 承载 信息 的 信号 分 量 和 加 性 干扰 组 成 ) 和 参考 信号 u(n)( 它 与 干扰 相关 面 与 承载 
信息 的 信号 无 关 )。 要 求 利用 参考 信号 与 基本 信号 的 相关 性 , 捉 制 自 适应 曲 声 消除 器 输出 端的 
干扰 。 


(9.42) 


基本 信号 din) + 输出 
© gia) 







参考 信 uln) 


图 9.3 Bi ARORA 
应 用 RLS 算法 可 得 该 消除 器 的 一 组 方程 ,经 整理 为 


1 
kin) = 人 {9,43) 
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E(n) = d{n} — W*(n — J )u(n) (9.44) 
@ln) = ln — 1) + k(n)é*{(n) (9,45) 
Gin) = Ag — 1) + Jula? (9.46) 


在 最 后 一 个 方程 后 fa) 中 , 零 均 值 参考 信号 ktn) 的 方差 估计 是 PO) eR, EE RLS 算法 中 
矩阵 PC(n) 的 标量 形式 , 即 
a(n) = P'(n} (9.47) 
Kesh (9.43) ~ 70(9.46) FIR A yy AA — th LMS 算法 得 到 的 一 组 方程 进行 比较 ,能 
够 获得 一 些 新 的 认识 。 在 我 们 所 介绍 的 范围 内 ,人 们 特别 感 兴趣 的 归 一 化 LMS 算法 由 式 
(6.12) 给 出 。RLS 算法 与 归 一 化 LMS 算法 之 问 的 主要 差别 在 于 , 归 一 化 IMS 算法 中 的 常数 8 
被 RIS 算法 中 增益 因子 (nn) 分 母 中 的 时 变 项 如 :fn - 1) 所 替代 ,该 因 了 控制 着 式 (9.45) 中 
RLS 滤波 器 拍 头 权 值 的 修正 。 


9.7 RLS 算法 的 收敛 性 分 析 


本 节 将 讨论 平稳 环境 下 RIS 算法 的 收 敏 特性 ,此 处 假定 4 为 1(4 小 于 1 的 情况 将 在 第 14 
章 讨 论 )。 为 了 给 下 面 的 讨论 做 准备 ,我 们 做 三 点 假设 ,这 三 点 都 有 它们 各 自 的 合理 性 。 


假设 期 望 响应 d{n) 与 抽 头 输入 向 量 on) ZMK Hie FF ERE RM IE 

din) = wiu(n) + e(r) (9.48) 
其 中 w, 是 回归 参数 向 量 ,e,(n) 是 测量 噪声 , 它 是 均值 为 零 、 方 差 为 o HARP AGS 
回归 章 Uln) 元 关 。 


图 9.4 给 出 了 式 (9.48) 所 述 关系 , 它 与 第 8 BPH ER) RAEN A 8.1 相似 。 
假设 I 输入 局 导向 本 Unm) 由 随机 过 程 生 成 ,其 自 相 关 函 数 是 各 态 历经 的 。 


假设 I 意味 着 ,可 用 时 间 平 均 代 替 集 平均 ,这 一 点 在 第 1 章 中 已 做 说 明 。 特 别 地 ,可 将 输 
入 向 量 u(n) 的 集 平均 相关 矩阵 表示 为 


R= o(n) HFn>M (9.49) 
其中 Cn) w( n EGR PE APIS, AZOR n> M, DURE MERE aS Ea 
有 输入 信号 。 式 (9.49) 的 近似 将 随 着 时 间 no 的 增加 得 到 改善 。 

BRE mE GE s(n) 的 波动 比 输入 信号 向 量 u(m) 的 波动 慢 。 


假设 重 成 立 的 合理 性 在 于 ,加 权 误 差 向 量 e(n) 是 RLS 算法 ”次 迁 代 中 一 系列 变化 量 的 累 
加 。 这 一 性 质 可 表示 为 


e(n) = w, — (1) 
= (0) — SKOPO 
ERERO 25) 得 出 (见习 题 5)。 尽 管 &Ci) 和 EORI wl 1) HE AA (9.50) PAE) 


(9.50) 
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具有 平滑 作用 。 实 际 上 ,RELS 滤波 融 起 到 了 时 变 低 通 滤波 器 的 作用 。 


下 面 的 讨论 都 是 基于 以 上 关于 un) Al dln) 的 三 点 假设 。 


输入 














din) 
E Hii 


图 9.4 和 多重 线性 回归 模型 


9.7.1 RLS HHH EKA 


由 正则 方程 (9.10) 解 w(n), 可 得 
e(a) = D'nin) n> M 


sa iu (i) 十 D0) 
=1 


z(n) = Sana) 
将 式 (9.48) 代 入 式 (9.53) ,然后 应 用 式 (9.52), 可 得 


zin) = ; wija (iw, + Èu (Hex 
=1 


= @(njw, 一 B(0)w, + > ui 


式 中 的 最 后 一 行 ,我 们 应 用 子 A = 1 时 的 式 (9.8)。 由 此 ,可 以 将 式 (9.51) 重 新 写 为 


(9.51) 


(9.52) 


(9.53) 


(9.54) 
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win) = ® (n)@(njw, — O(n) @(0)w, + O(n) Suert) 
， S (9.55) 
= w, — $BOw, + O(n) S ufler(i) 


i=l 


对 式 (9.55) 的 两 边 取 数学 期 望 ,并 引用 假设 上 和 假设 I ,可 以 写 出 


Ô a- 
= W: T zR w, (9.56) 


其 中 是 期 望 响 应 &(n) 与 输入 向 量 un) SREY SKE. (9.56) RHA, RLS 算 
法 在 均值 意义 上 是 收敛 的 。 如 果 n 大 于 滤波 器 长 度 MM 的 有 限 值 , 则 由 于 用 D0) = OLR 
进行 初始 化 ,所 以 估计 wn EAW (AY ” 趋 于 无 限时 ,偏差 将 趋 于 0。 


9.7.2 RLS 算法 的 均 方 偏差 


加 板 误 差 相关 矩阵 定义 为 
K(x) = Ele(nje"(x)| 
= E(w, — Wn))w, — Wn)) | 
将 式 (9.55) 代 入 式 (9.57) ,并且 和 忽略 初始 化 的 影响 (这 一 点 对 n> 用 成 立 ), 可 得 


Kin) = El O10) Sutu enee) 
=| j=l 


(9.57) 


TER RE Ao RRA EMER O(n) SRS e。(n) 无 关 。 因 此 ,可 以 
将 K(n) 表 示 为 两 个 期 望 的 积 


Kín) = Bl an) S 


i=1 j=l 


atin" jean) elere] 


FEMA 。(n) 是 白色 的 (假设 工 ) ,我 们 有 
Eee0)] = fo EES) (9.58) 
其 中 of 是 e(m) 的 方差 。 因 此 ,加 权 误 差 相 关 乒 阵 变 为 
K(n) = arom) $ uuaa | 
= ZEJO {nA (ne n)] 
= oE|®'(n)] 
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最 后 ,引用 和 做 入 在 式 (9.49) 中 的 假设 WT, Le 
K(n} = LR n> M (9.59) 
均 方 偏差 定义 次 
Gin} = Ele*(aje(n)] 
= tr[ K(x) | 
其 中 trl RARER MA. HER TK (9.59), RLS 算法 的 均 方 偏差 为 


a(n) = ou[R") 
1 (9.60) 


(9.60) 


EH a BFA R 的 特征 值 。 
根据 式 (9.61) ,我 们 现在 可 以 对 于 n > WF 的 情况 得 出 如 下 两 点 重要 结论 ; 


1) 均 方 偏差 3 (mn) 被 最 小 特征 值 1 的 重 数 放大 。 因 此 ,对 于 一 阶 近似 ,RELS 算法 对 特征 
值 扩散 的 敏感 性 正比 于 最 小 特征 值 的 倒数 。 因 此 ,病态 的 最 小 二 池 问题 会 使 收 伍 性 能 
变 差 。 

2) 均 方 偏 差 多 (5) 随 迭代 次 数 n 几乎 时 线性 衰减 。 因 此 ,由 RLS 算法 得 到 的 估计 w(=) 几 
乎 随时 间 线 性 地 按 范 数 ( 即 " 均 方 ”) 收敛 于 多 重 线性 回归 模型 的 参数 向 量 w, o 


9.7.3 RLS 算法 的 集 平 均 学 习 曲 线 


在 RLS 算法 中 ,存在 两 类 误差 , 先 验 估计 误差 (n) 和 后 验 估计 误差 e(n)。 给 定 第 9.3 他 
中 的 初始 条 件 , 可 以 发 现 这 两 种 误差 的 均 方 值 随时 间 = 不 同 地 变化 。 当 n=1 时 , (mn) 的 均 方 
值 较 大 [等 于 期 望 响应 d(n) 的 均 方 值 ] ,然后 随 着 n 的 增 大 而 衰减 。 另 一 方面 , 当 m=1 时 ， 
eC) MA HR) RRA n 的 增加 而 增 大 ,一直 增加 到 e) EF &(n) 时 一 个 n RAB 
点 。 因 此 ,选择 6(n) 作 为 感 兴趣 的 误差 ,可 得 到 一 个 与 LMS 算法 学 习 昌 线形 状 相 同 的 RLS 算 
法 学 习 曲 线 。 于 是 ,我 们 能 够 通过 图 形 直接 在 RLS 算法 与 LMS 算法 的 学 习 曲 线 之 间 进 行 比 
较 。 因 此 ,我 们 可 以 先 验 估计 误差 &(n) 为 基础 计算 RIS 算法 的 集 平均 学 习 曲 线 , 即 


Pn) = Efile t] (9.62) 


式 中 的 撤 和 号 用 来 区 分 ECn) 与 etn) 的 均 方 值 。 
在 式 (9.26) 和 式 (9.48) 之 间 消 去 期 望 响 应 d(n), 可 以 将 先 验 估计 误差 表示 为 


中 关系 式 
E{@"(n)] = is 对 于 n> 
已 为 关于 复 维 萨 特 分 布 (Wishan distributions) 的 附录 C 所 证 实 。 相 关 年 阵 名 -'(n) 可 在 下 列 条 件 下 : 
。 输 人 向 量 of1) ,4(2),… ,u(r) 是 狐 立 同 分 布 的 (iLi.d.)。 
， 输 入 向 量 W1002),… ,uln) 由 具有 零 均值 . 集 平均 相关 答 阵 为 民 的 多 元 高 斯 分 布 的 随机 过 程 产生 。 
由 复 维 萨 特 分 布 表 示 。 上 注 假 设 对 工作 在 高 斯 环境 下 的 阵列 处 理 系统 同样 适用 。 
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é(n) = ealn) + [w, — #(n — 1)] a(n) 
= gln) + s"{n — 1)u(n) 
其 中 包含 e(n -1) 的 第 二 项 是 元 十 扰 情 计 误 差 。 将 式 (9.69) 代 入 式 (9 .2) ,然后 诬 开 ,可 得 
J'{n) = Elle,tn)| | + Flu" (ajetn — Ler(n — 1)u(n)] 
+ Ele"(n — Uutaje*(n)| + Elen" tna)etn — 1)| 
为 处理 式 (9.64) 中 的 相 个 数学 期 组 项 ,要 注意 以 下 几 点 : 
@ 由 式 (9.58) 可 知 ,1e,(n)1 的 期 望 值 是 a; o 
昌 第 二 个 期 望 可 表示 为 
E[u"(nje(a — lef(n — 1)o(n)]| = Eftr {uf (me{n - De"(n — 1)u(n)}] 
= Eltr {unje {anjela — Ler(n — 1)}] 
= tr {Elu(n)u’(nje(n — 1je"(n — 1}]} 


(9.63) 


(9.64) 


£ 


FEABE RAE Fn KAREAR E aE eln- 1) ee" (rn -1) 的 随机 波动 得 于 外 积 
uCn}yu”(n)。 因 此 ,我 们 可 利用 直接 平均 法 写 出 
Efu"(nje(n — 1)e"?(2 — 1)0(n)| = tr {Eluana} |E[e(tn — 1)er(n — 1)]} 


= tr[RK{a — 1)] (9.65) 
将 式 (9.59) 代 入 式 (9.65) 得 
Elu®(aje(n — 1je*(n — Lu(n)] = Lo tr[RR] 
= Sarf] (9.66) 
= ao n>M 


其 中 时 是 滤波 器 长 度 。 
ex oP MBS TS, RAAT: 首先 ,将 n 时 刻 视 为 现时 刻 , 则 加 权 误 差 问 量 
e(n- DRETA DE ug na) 和 测量 噪声 e fn) 的 过 去 值 [ 参 见 式 (9.5)j。 第 二 ,在 假 
设 I 条 件 下 ,uitn) 和 e, (na) 是 统计 独立 的 ,而 且 e(n) 的 均值 为 零 。 因 此 ,可 以 写 出 


Ele’(n ~ Lu(nje*{n)| = Ele"(n — lu(n)] Eles (nm)] 
= 人 0 


. 除了 共 斩 差别 外 ,第 四 个 期 望 与 第 三 个 期 望 的 形式 相同 。 因 此 ,第 四 个 期 望 也 等 于 零 。 
Hej He ee A (9.64), 8) E h 
Finya o+ + n>M (9.68) 


(9.67) 


在 式 (9.68) 的 基础 上 ,我们 可 得 出 如 了 结论 : 
1) RLS 算法 集 平均 学 习 曲 线 的 收敛 大 约 和 需要 UM 次 迭代 ,其 中 M 是 滤波 器 长 度 。 这 意味 
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着 RLS 算法 的 收 竹 速率 比 LMS 算法 快 一 个 数量 级 。 
2) 随 着 迭代 次 数 n ATER STRE J{n) 趋 于 测量 误差 e,(n) 的 方差 of. MAB 
BL, RLS 算法 理论 上 的 额外 均 方 误 差 为 零 (也 就 是 零 失调 )。 
3) RLS 算法 在 均 方 意义 上 的 收敛 性 独立 于 输入 向 屋 u(n) 集 平均 相关 矩阵 R 的 特征 值 。 
在 本 节 所 介绍 的 RIS 算 法 收 伊 性 分 析 中 , 均 假 设 指数 加 权 因 子 4 等 于 1 即 算法 是 无 限 记 
忆 的 }。 正 如 本 节 的 开始 所 提 到 的 , 当 2 位 于 0<4<1 范围 的 情况 ,将 在 第 14 章 中 讨论 。 


9.8 自 适应 均衡 的 计算 机 实验 


在 这 项 计算 机 实验 中 ,我 们 应 用 指数 加 权 因 子 4=1 的 RLS 算法 ,设计 线性 离散 通信 信道 
的 自 适 应 列 衡 器 。 在 第 5.7 节 已 经 讨论 过 用 LMS 算法 解决 该 问题 的 情况 。 研 究 中 所 用 的 系统 
框图 如 图 9.5 中 所 示 。 系 统 中 使 用 两 个 独立 的 随机 数 发 生 器 ,一 个 用 x, 来 表示 ,用 来 测试 信 
道 。 另 一 个 用 vtn) 来 表示 ,用 来 模拟 接收 响 中 加 性 白 噪声 的 影响 。 序 列 x, 是 %, = +1 的 伯 
努 利 (Bemouli) 序 列 , 随 机 变量 «, 具有 零 均 值 和 单位 方差 。 第 二 个 序列 vn RASH 
HE e* 由 实验 中 需要 的 信 噪 比 决 定 。 均 衡器 有 11 个 抽 头 。 信 道 的 神 激 响应 定义 为 


l ‘2K 
za + cos{ 22n - 2) n=1,2,3 
0 其 他 


EP, y 控制 幅度 失真 的 大 小 ,因此 也 控制 信道 产生 的 特征 值 扩展 。 将 延迟 7 个 样 值 之 后 的 
信道 输入 x, 作为 均衡 器 的 期 望 响应 ( 详 见 第 5.7 节 )。 


h, = 





RE BQ) 





9.5 计算 机 实验 用 自 适 应 均衡 器 框图 


实验 分 为 两 部 分 ;第 一 部 分 为 高 信 品 比 的 情况 ,第 二 部 分 为 低 信 骂 比 的 情况 。 两 部 分 的 正 

则 化 参数 都 取 5 =0.004( 因 这 里 取 X=1, 故 第 9.4 节 中 所 介绍 的 按 不 同 信 品 比 选择 8 的 方法 
在 这 里 并 不 适用 )。 

1) REE =30dB HAERERE N 30 dB BU HE o? 等 于 0.001) 而 改变 四 或 特征 值 扩散 

度 时 的 实验 结果 已 在 第 7 章 介 绍 ( 见 图 7.9)。 图 中 的 4 种 情况 分 别 对 应 于 参数 

W =2.9.3.1.3.3 和 3.5, 或 等 效 地 y (R) = 6.078211. 1238.21.71324146. 8216( FF L852). 
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图 中 包括 LMS 算法 .DCT-IMS 算法 和 RLS 算法 的 学 习 曲 线 。4 种 不 同 特 征 值 扩散 度 
X(R)AY RLS 算法 的 一 组 实验 结果 如 图 9.6 所 示 。 为 便于 比较 , 当 步 长 参数 jy = 0.075 
时 LMS 算法 相应 的 一 组 结果 在 图 5.21 中 给 出 。 根 据 两 幅 图 中 的 结果 ,可 以 得 出 如 下 
结论 : 

e RLS 算法 大 约 经 过 20 次 迭代 即 收 襄 ,大 约 是 横向 均衡 器 抽 涉 数 的 两 倍 。 

© 与 LMS 算法 的 收 合 性 相 比 , RLS 算法 的 收 例 性 对 特征 值 扩散 度 X(R) 的 变化 相对 不 敏 
感 。 

e RIS 算 法 比 LMS BEI MRSS. 

e RILS 算 法 所 获得 的 集 平 均 平 方 误 差 的 稳 态 值 比 LMS 算法 小 得 多 , 这 证 实 了 我 们 前 面 所 
说 的 :RLS 算 法 至 少 在 理论 上 失调 量 为 零 。 
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图 9.6 4 种 不 同 特 征 值 扩散 度 情况 下 RIS 算 法 的 学 习 曲 线 ($=0.004.4=1.0 


将 图 9.6 所 示 的 结果 与 图 5.21 中 所 示 的 结果 进行 比较 ,可 以 清楚 地 看 出 RLS 算法 的 收 
SUR OLE LMS 算法 ;但 是 ,要 达到 这 样 的 收 伍 速 率 , 必须 是 高 信 品 比 情 况 。 当 信 噶 比 
不 很 高 时 ,RLS 算 法 将 失去 这 一 优势 .下 面 将 会 证 明 这 一 点 。 

2) MELE =10dB 图 9.7 显示 P=3.1, 信 了 品 比 =109B 时 RIS 算 法 和 LMS 算 法 (HRS 
数 py =0.075) 的 学 习 曲 线 。 在 所 关心 的 收 合 范 围 内 ,可 以 看 出 RLS 算法 与 LMS 算法 以 
几乎 相同 的 方式 进行 学 习 , 两 种 算法 都 需要 约 和 次 的 选 代 达到 收 伍 。 但 对 于 信道 均 
衡 问 题 ,这 两 种 算法 都 不 能 获得 满意 的 结果 。 
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图 9.7 24 W=3. 1. BRE AiR) = 11.1238] 40 SNR = 10dBIN RIS BY 
(8 =0,004,A = 1.0) 71 IMS REGRESS p = 0.075) Mt AR 


9.9 RLS 滤波 器 的 鲁 棒 性 


在 本 节 中 ,我 们 通过 讨论 RLS 涨 波 器 对 影响 其 工作 的 干扰 的 鲁 棒 性 来 完成 这 一 类 滤波 器 
的 研究 。 在 第 5.10 节 中 ,我 们 已 经 讨论 过 H 理论 及 其 与 自 适应 证 波 器 鲁 棒 性 的 关系 ,并 用 它 
HHT LMS 滤波 器 的 鲁 棒 人 性。 其 结论 总 结 如 下 :首先 , LMS 滤波 器 的 A” 范 数 独立 于 输入 数 
据 。 其 次 ,滤波 器 的 能 量 增益 不 会 超过 1。 这 种 鲁 棒 性 可 直观 地 说 明 如 下 :在 推导 LMS 滤波 器 
权 向 量 更 新 公式 时 ,没有 对 输入 数据 的 统计 特性 收尾 何 假设 。 相 反 , RLS BARA A 范 数 与 
输 人 数据 有 美 。 此 外 ,在 输入 向 量 能 量 不 变 的 情况 下 , 当 正 则 化 参数 8 为 小 值 时 ,RLS 滤波 器 
对 预测 误差 的 前 棒 性 较 差 。 

下 面 ,我 们 将 用 H 理论 证明 RLS 滤波 器 的 鲁 棒 性 (Hassibhi & Kailath,2001)。 

为 了 开始 此 项 工作 ,遵照 第 5.10 节 , 假设 可 测 数 据 满足 多 重 回归 模型 

d(n) = w'u(n) + rv(n) (9.69) 


其 中 w 是 未 知 参数 向 量 ,>(a) 是 未 知 加 性 噪声 , 它 包 括 测量 噪声 和 模拟 误差 以 及 来 自 未 知 干 
扰 源 的 干扰 。 因 此 ,没有 对 >(m) 答 任何 统计 假设 。 

从 第 5.10 节 进 一 步 想 起 ,任何 滤波 器 的 H” 范 数 都 是 从 干扰 到 估计 误差 的 最 大 能 量 增益 。 
在 我 们 的 模型 中 ,干扰 有 两 个 :第 一 个 是 a(0) = w- w(0), 它 是 权 向 量 初始 估 值 的 误差 ;第 二 个 
是 加 性 噪声 v(n)。 要 考虑 的 估计 误差 是 无 于 扰 的 估计 误差 , 即 


0 
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gln) = (w — W(n — 1)) ufa) (9.70) 
它 不 同 于 LMS 滤波 器 的 情况 :用 w(n - RE w(n) 是 为 了 与 本 章 介 绍 的 RIS 理论 相 一 致 。 
相应 地 ,总 (na 与 vtn) 之 间 的 关系 为 
En) = Efn) ~ vin) (9.71) 
其 中 &(n) 是 先 验 估计 误差 。 


为 了 研究 RLS 滤波 器 的 鲁 棒 性 ,需要 计算 从 输入 十 扰 到 估计 误差 的 最 大 能 量 增益 的 和 蛋 ， 
为 了 得 到 这 些 界 ,引用 如 下 引 理 ( 引 理 的 证 明 见 习题 9)。 


引 理 考虑 RLS 滤 被 器 ,其 权 向 量 的 递归 更 新 公式 为 
wr) = Wn — 1) + k(njgt{n) 
其 中 k(n) = (n)jul(n) 是 增益 向 量 。 然 后 ,假设 时 间 平 均 相 关 秆 阵 On) IH, A 
指数 加 权 困 子 4 等 于 1, 则 可 写 出 
BOI 
rín) 
当 A =1 EPAF r(n) 定 义 为 


r(n) = 1 + ur nan) Un — Lule) 


CERO ANE RAAF Y(n) 的 倒数 。 
将 式 (9.72) 的 两 边 在 区 间 1 到 ms 六 内 对 所 有 的 m 求 和 ,再 消 去 共同 项 ,从 而 得 





e*(n)@(n)e(n) + = e(n — 1)D(n ~ tein ~ 1) + |p(n}|’ {9.72) 





ef (N)D(N)e(N) + eae we ne (O)@(O)e(0) + È n) E (9.73) 
在 RLS 滤波 中 ,相关 和 矩阵 O EA 
(0) = él 
其 中 5 是 正则 化 参数 ( 见 第 9.3 节 )。 相 应 地 ,可 将 式 (9.73) 改 写 为 
N 2 N 
NANEN + $ SEE = aO + Dpef (0.18 


式 (9.74) 的 右边 正 是 我 们 所 寻求 的 干扰 误差 能 量 。 然 而 ,左边 并 不 完全 是 估计 误 善 能量。 为 
了 找 出 估计 误差 能 量 ,需要 应 用 一 些 技巧 。 首 先 ,我 们 注意 到 ,如 果 定 义 
r= max rin) 


则 可 将 式 (9.74) 改 写 为 不 等 式 的 形式 
N N 
eM(N)@N)E(N) + > Dl < ale OP + > CoP (9.75) 


或 者 更 简单 地 写 为 
N N 
= Tle ate(OP Df 


n 
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由 式 (9.71) ,我 们 有 
(n) = gln) + v(m) 
从 而 
N N 
> > alm) + v(m)? < aleo + E o (9.76) 


fl 


为 了 分 离 出 估计 误差 能 量 , 我 们 注意 到 ,对 任意 a > 0,4 
ja + b? > (1 一 二 - (1 — a)|bf 


其 中 a Mb 是 任意 的 变量 对 。 令 a = 8,(n),b=v(n) ,将 此 二 等 式 用 于 式 (9.76) ,经 整理 可 得 
1 


Le N 3 l-e N 5 (9 77) 

SEF < eOr + (1 + E) > men) | 
XL A TART EE DP, 16 (a) È (9.77) 的 两 边 同 除 以 
(1 二)/F, 并 假定 a> 1, 可 得 





oe + al? 一 


PO jeo +S inp 


n=1 





Elaf < 


Œ 


TRAD E Ca) e 的 尽 可 能 “最 紧 " 的 界 ,在 a > 1 移 情 况 下 ,我 们 对 上 述 不 等 式 中 
Si bin 上 的 系数 进行 最 小 化 。 实 际 土 ,不 难 证 明 
min( “+ 57 Va) = (avr)? 以 及 arg min{ T= Da) =1l+/7r 
应 用 这 一 结果 ,可 继续 写 出 
Se <— eo + + VPS be 
1+ VF 


= Vila + Vle(OF + (1 + VE Sh 
N 
< (+ Vy(sle(OF + $ bem?) 
于 是 ,我 们 得 到 RLS 滤波 器 能 量 增 益 的 界 如 下 
N 
> leu)? 
tse + VFY (9.78) 
Sle(OP + E l 


因 该 不 等 式 对 所 有 的 十 扰 都 成 立 , 故 有 
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Siem? 
sup |- (i+ Vr¥ (9.79) 


reel ale(OF + Silo 站 


这 就 是 我 们 要 求 的 RIS 滤波 器 最 大 能 量 增益 (或 吾 " 范 数 ) 的 上 界 。 

在 第 5.10 节 中 ,获得 LMS 滤波 器 最 大 能 景 增益 下 界 的 方法 是 :构造 一 个 合适 的 干扰 信号 
并 计算 它 的 能 量 增益 ,这 样 做 的 理由 是 ,任何 干扰 信号 的 能 基 增 益 也 适合 作为 最 大 能 量 增 益 
( 即 最 差 情 况 ) 的 下 界 。 对 于 RLS 滤波 器 ,我 们 将 采用 类 似 的 方法 。 

为 此 ,应 该 注意 到 ,人 们 总 能 够 选择 干扰 序列 y(n ) ,使 得 不 等 式 (9.75) 成 立 : 我 们 需 归 做 
的 是 选择 v(n ME Eln) = E Cna) +y DEFE, HA T= max, rtn) 这 一 时 刻 除 外 。 另 外 ,我 们 
总 可 以 选择 w, (878 0 N) =w- WON) =0. 用 {到 ,y(n)} 表 示 这 种 特殊 的 于 扰 信 号 ,于 是 ,由 
式 (9.74) 可 以 写 出 











N N 
5 Blen) + PP = eO + D p (9.80) 


F on=i 


AP Rea OMT a wo MERIA PES ERE, E, 对 
所 有 的 a > 0,48 


ja + 有 过 十 L Naf + (t + aF 
azgin) =va), 将 这 个 不 等 式 用 于 式 49.80) ,经 整理 可 得 


l 
1 二 二， 要 
—* 3 etme aietor + (1-4 JS Per 





E 


-a + a(F — 1) 


N 
{A peni (9.81) 








N 
Dle 2 (0) + 


eee 
ox 
KATRS IE Cn) 1 RUS ARE RRA, Ee >0 的 情况 下 ,对 上 述 不 等 式 右 边 
Se 15(n) [的 系数 进行 最 大 化 。 实 际 上 ,不 难得 到 


mil aide ve = (VF 一 二 estare mig( 22 8) | 


a+] 





将 此 结果 用 于 式 (9.81), 于 是 得 到 
N = N 
> le = ——— le OP + (VF - FS Pf 





= ViVi — 18/8)? + (ve 1) Se) 
= (Vr — 1{8lē (0)? + E ) 
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因此 ,对 于 这 个 特殊 的 干扰 信号 ,我 们 得 到 RLS 滤波 器 能 量 增益 的 下 界 为 


N 2 
之 | 


(VF 7 Ys N 
SE (0)? + > Pf 





AAE TARER 8 A EB a T A, RA 





> émi 
(VF 一 1) < sup, ast 四 ; (9.82) 
ve" { alet? + 2 v(m) 
SEAR (9.79) ATK (9.82) ,我 们 得 到 所 期 望 的 RLS 滤波 器 下" 范 数 的 上 、 下 界 为 
Seco 
(WF -17 < sup n=l <(Vr +1) (9.83) 





i N 
meet! ole(O + Èf 


据 此 ,有 关 RLS WE aE EERI — EE A E HAN F : 


e 式 (9.83) 中 获得 的 上 .下 界 ,相对 来 说 比较 紧 ( 特 别 是 当 F RAN) ,因为 它们 只 相差 2， 
即 (v 了 +1) - (yF -1) =2。 

è 与 LMS 滤波 器 不 同 , 式 (9.83) 中 的 最 大 能 量 增益 可 以 超过 1, 这 意味 着 RLS 滤波 器 会 将 
干扰 信和 号 放大 。 因 此 ,一 般 说 来 , 它 对 干扰 变化 的 鲁 棒 性 比 LMS BBE o 

e 与 LMS 滤波 器 不 同 ,这 里 的 最 大 能 量 增 益 与 输入 数据 有 关 , 因 为 界 取决 于 F = max, [1+ 
un)D (Cn -lu(n)], 它 与 数据 有 关 。 因 此 ,RLS 滤波 器 的 鲁 棱 性 取决 于 自身 的 输 
和 人 数据 集 。 

+ 注意 到 Frf0) =1+5 ll ul0) 上。 因此 ,可 将 下 漠 简 化 为 


Seco? 
(V1 + S'u)? -1) < sup | — r 
mre \ Sjeo}? + > biol 


此 式 清楚 地 表明 ,正则 化 参数 $ 越 小 , RLS REN RS ORBEA 
LMS 滤波 器 的 性 能 与 步 长 参数 x 的 关系 )。 

oS a1 it ERS O(n) = 61+ Di wiu” (让 是 一 个 非 衰 减 的 矩阵 序列 。 特 别 是 ,对 
所 有 的 n A O(n) <dlo 这样, 如 果 输 入 向 晤 对 所 有 的 m 为 常量 上 ta) = ul ， 
则 有 


(V1 + sul? - 1) < sup | 一 一 全 一 六 一 一 | 条 (YL+ 6" uP + 1Y 


ìi N 2 
mei éle(ON + > b(n) 
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9.10 本 章 小 结 


本 章 寻 出 了 递归 最 小 二 乘法 (RLS) ,作为 最 小 一 乘法 的 一 种 旧 然 推广 。 推 导 过 程 基于 和 拖 
阵 代数 中 的 一 个 矩阵 求 逆 引 理 。 

RLS 算法 与 LMS 算法 的 基本 差别 如 下 ;LMS 算法 中 的 步 长 参数 e 被 哮 '{n)[ 即 输入 向 量 
uln) 的 相关 年 阵 的 道 ] 绕 替 , 它 对 抽 头 输 大 有 白化 作用 。 这 一 改进 对 平稳 环境 下 RLS 算法 的 
收 敏 性 能 有 如 下 次 刻 的 影响 ; 

1) RLS 算法 的 收 和 伍 速 率 比 LMS 算法 快 一 个 数量 级 ， 

2) RLS 算 法 的 收 敏 速 滨 不 随 输入 向 量 un) 集 平均 相关 矩阵 R 特征 值 的 扩散 度 ( 即 条 件 

数 ) 而 改变 。 

3) 随 着 迭代 次 数 n ATER, RLS 算法 的 额外 均 方 误差 Sn FS, 

这 里 总 结 的 是 , 当 指数 加 权 因 子 4 =1 时 RLS 算法 应 用 于 平稳 环境 的 情况 。A KL 的 情况 
将 在 第 14 章 考 虑 。 那 时 我 们 将 会 看 到 ,性 质 1 和 性 质 2 依然 咸 立 ,但 是 额外 均 方 误 关 aln) 
不 再 为 零 。 不 管 怎样 ,RIS 算法 中 均 方 误差 (nn) 的 计算 都 是 基于 先 验 估计 误差 El nm) 的 。 

本 章 介 绍 的 另 一 个 重要 研究 结果 是 ,与 LMS 滤波 器 不 同 ,RIS 滤波 器 在 HT 意义 上 的 鲁 棒 
性 与 数据 有 关 。 特 别 地 , 当 输 入 向 量 能 量 固定 时 ,RILS 滤波 器 相对 于 较 小 正则 化 参数 和 时 预测 
误差 的 鲁 棒 性 较 差 。 


9.11 习题 


1. 为 了 递归 实现 最 小 二 乘法 , RRA RK An ,让 必须 具有 合适 的 结构 。 假 定 
Bf 站 一 由 BE 一 1 i= 1,....n 
其 中 Bln, n=l. DEA 
pln’) = TL) 
要 得 到 pfn, i) =A"! ACK) BERRI TAR? 
2. 证 明 矩 阵 求 道 引 理 的 正确 性 。 


3. SRR 
Pin) = u(nju*(n) + HL 


其 中 ,a(n) 是 抽 头 输入 向 量 ,6 ETD EB, ARR TH P(n) = @'(n)o 
4. 本 是 考虑 第 9.6 节 曾 讨论 过 的 示例 , 即 单一 权 值 自 适 应 噪声 消除 器 (如 图 9.3 Bras). ER 
加 权 误 差 为 
e(n) =w, - wn) 
其 中 win ERAB w, HDF. WEH en RUIN Te] ALE TEHA E 
e(n)=alnde(n—1) 4+ k(n)e, Ca) 
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其 中 及) 是 了 LS 算法 的 增益 因子 ,ea 是 零 均 值 的 白 品 声 , aa) 是 … 个 时 变 的 止 参数 ， 
且 对 所 有 的 nm ,其 值 都 小 于 1. 回 等 如 下 问题 :afa) 的 计算 公式 是 什么 样 的 ?从 递归 方程 
式 中 可 以 得 出 什么 结论 ? 

5, 根据 式 (9.25) ,证 明 加 权 误 差 疝 量 


s(n} = Ww — wlan} 


可 用 式 (9.50) 表 示 ， 

6. 对 于 RLS 算法 ,给 定 第 9.3 WRAY AY n=l MERITE em MHRA, 
然后 随 着 n KOSH. PRAIA. 

7. 在 基础 方面 ,RIS 滤波 器 不 同 于 LMS 滤波 器 :LMS 滤波 器 中 的 此 长 参数 u 被 RLS 滤波 器 中 
Be AE D'n HARE. 
(a) 证 明 这 一 代 普 对 RLS 滤波 器具 有 自 正 交 化 作用 , 且 可 以 表示 为 


下 [ef 站] = (1 一 *\efetn — 1)] 对 于 大 





其 中 
ein) = w, Win) 
推导 中 可 用 第 9.7 节 的 假设 I 和 假设 1。 
(b) 根据 (a) 中 的 结果 ,区 分 RLS 滤波 器 与 第 6.4 节 讨论 的 自 正 交 化 自 适应 滤波 器 之 间 的 不 
同 。 
8. 在 本 是 中 ,我 们 利用 复 维 萨 特 分 布 ( 附 录 G) 来 研究 应 用 于 阵列 信号 处 理 的 RLS BB a 
ATE» 假设 ; 
1. 构成 阵列 的 点 个 传感器 在 输出 端的 观测 值 ,tw,… ,uw 是 独立 同 分 布 的 。 
2. 测量 数据 服从 允 元 高 斯 分 布 .该 随机 过 程 的 均值 为 零 . 集 平 均 相 关 乍 阵 为 R 
(a) 利用 复 维 萨 特 分 布 得 到 期 望 值 


E|® in}]| = iR ! 
(b) 利用 (a) 中 的 结论 ,导出 在 前 述 两 条 假设 下 ,RLS 算法 均 方 偏差 的 表达 式 。 
9. 在 本 题 中 ,我 们 证 明 当 指数 加 权 因 子 * = 1 时 第 9.9 节 介 绍 的 RLS 滤波 器 的 引 理 。 从 RLS 
DE oe AI Fr E 
wan) = Wn — 1) + OU (n)u(njer(n) 
出 发 ,导出 递归 方程 式 (9.72), 式 中 涉及 加 权 误 差 疝 量 
eln) =w- wir) 


其 中 ww 是 式 (9.69) 定 义 的 多 重 回归 模型 的 权 癌 基 。 


计算 机 实验 


10. 第 5 章 中 的 习题 21 是 应 用 LMS 算法 设计 一 个 二 阶 自 回归 过 程 的 线性 预测 器 。 试 用 RLS 
算法 ,重复 该 是 中 人) ~ (#8) 的 计算 机 实验 . 
11. 在 本 题 中 ,我 们 重新 探讨 第 5 章 习 题 22 关于 自 拓 应 均衡 的 计算 机 实验 。 该 处 描述 的 问题 
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包含 两 个 部 分 , 现 重 做 这 岗 个 部 分 :ia) 验 证 信道 输入 与 自 适 应 横向 均衡 器 期 望 响 应 之 间 
的 延迟 入 与 所 有 的 自 适 应 算法 无 关 ;(5) 改 用 正则 化 参数 8 =0.005 的 RLS 自 适 应 算法 重 
做 该 题 中 的 (b) 部 分 ， 

12. 第 3 章 的 习题 ES LMS 算法 用 于 研究 MVDR 波束 形成 器 。 试 用 RILS 算 法 ,重复 该 计算 
机 实验 。 


Ble ”卡尔 曼 滤 波 器 


本 章 回 到 第 2 章 维 纳 滤波 上 融 中 曾经 讨论 过 的 线性 最 优 滤波 问题 。 特 别 是 ,我 们 将 研究 卡 
尔 坚 滤波 器 (Kalman,1960) 的 基本 思想 。 卡 尔 曼 滤波 髓 的 一 个 显 普 特点 是 ,用 状态 空间 概念 来 
描述 其 数学 公式 。 卡 尔 曼 滤波 器 的 另 一 个 新 颖 特点 是 , 它 的 解 是 递归 计算 的 ,而 且 可 以 不 加 修 
改 地 应 用 于 平稳 和 非 平稳 环境 。 尤 其 是 ,其 状态 的 每 一 次 更 新 悄 计 都 由 前 一 次 估计 和 新 的 输 
入 数据 计算 得 到 ,因此 只 需 存储 前 一 次 合计 。 深 了 不 需要 存储 过 去 的 所 有 观测 数据 外 ,卡尔 曼 
滤波 器 计算 上 比 直接 很 据 恋 波 过 程 中 每 一 步 万 有 过 去 数据 进行 估 值 的 方法 都 更 加 有 效 。 

人 们 关注 卡尔 受 滤 波 器 的 主要 动因 是 基于 如 下 事实 :卡尔 曼 滤 波 器 为 递 电 最 小 二 乘 滤波 
器 族 提供 了 一 个 统一 的 框架 。 递 归 最 小 二 乘 LRLS) 泪 滤器 族 包括 以 下 内 容 : 


© 标准 RLS 滤波 骨 ( 第 9 章 ) 

© 平方 根 RIS 滤波 器 (第 1 章 )} 

e 阶 递归 RLS 滤波 器 (第 12 A) 

我 们 将 从 一 个 标量 随机 变量 的 简单 例子 出 发 ,通过 求解 该 例子 所 表示 的 递归 最 小 区 方 佑 
计 问 题 来 开始 本 章 的 讨论 。 


10.1 标量 随机 变量 的 递归 最 小 均 方 估计 


假设 从 时 刻 1 开始 一 直观 测 到 时 刻 n-i E a -1 时刻 ), 观 测 到 的 一 组 随机 变量 为 
y(1),y(2),… ,y(n -了 ,而 与 它们 有 关 的 某 零 均值 随机 变量 x(n - 1) 的 最 小 均 方 估计 为 
iln- HY, a). AE, BiR n = 0 时 刻 ( 或 此 刻 之 前 ) 的 观测 值 为 0; 由 观测 值 y(1),…， 
y(n -1) 张 成 的 空间 用 时,_| 表 示 。 假 设 现在 还 有 另外 一 个 时 刻 的 观测 值 ,而 要 求 是 计算 随机 
变量 的 更 新 刁 值 (nY, PU, 表示 由 y(1),…, y(n) 张 成 的 空间 。 我 们 可 以 通过 存储 过 
去 的 观测 值 y(1) ,y(2),… ,y(n ~ 1), 然 后 用 包括 新 观测 值 在 内 的 所 有 可 用 数据 y(1),y(2)， 
… ,y(n -1),y(n) 重 解 这 一 问题 来 完成 计算 。 然而, 如果 采用 递归 估计 过 程 ,其 计算 效率 要 高 
得 多 ,因为 这 种 方法 只 存储 前 一 个 佑 值 x(n - 1 外。,)， 并 利用 它 以 及 新 观测 值 计算 更 新 的 估 
值 z(nl 外 ,)。 推 导 这 种 递归 个 计 算法 的 方法 有 凡 种 。 我 们 将 利用 "新 息 "概念 (Kailath, 1968, 
1970) , 它 的 起 源 可 追 潮 到 Kolmogorov (1939) 的 研究 结果 。 

定义 前 向 预测 误差 

falh) = yla) 一 Hal Yt) n= 1,2,... (10.1) 


H y(n 1G, EAA nn- 及 其 之 前 的 所 有 观测 值 ,对 a Ee A Ly Cn) AY 
一 步 预 测 。 估 计 中 用 到 的 过 去 观测 值 为 y(1) ,y(2),… ,y(n 1), 故 预测 阶 数 为 4 -1 阶 。 我 
们 可 将 /1(n) 看 做 滤波 器 输入 为 时 间 序 列 y(1),y(2),… ,y(n — DR n ~ 1 Te BE 
滤波 器 的 输出 。 注 意 , 严 测 阶 数 n -1 随 着 ”线性 增长 。 根 据 正 交 性 原理 , 预测 误差 fi 0n) 
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应 与 过 去 所 有 的 观测 值 yD). y(n - DEZ, RO ERE 5 时刻 观 泗 的 随机 变量 
7yfa) 中 所 含 新 信息 的 一 个 度量 ,内 而 叫做 "新 总 "。 事 实 上 ,观测 值 y (rn) 携带 的 并 不 全 是 新 信 
息 ,因为 可 预测 部 分 yO IY, DESMAN yO) (2), y(n -了 确定。 确切 地 
i, SAM y(n) PIES MRS BER RS Co A A 
ERA RR” ,为 表示 方便 , 记 为 
a(n) =f, (a) a=1,2.... (10.2) 
新 息 atn) 具 有 一 些 重要 的 特性 , 现 叙 述 如 下 : 


EEI 与 观测 随机 可 量 yin AKR E atn) 与 过 去 观测 值 y(1),y(2),… ,Ytn 一 1) 
正 交 , 即 





Elay(k)] =0 1<k<n-1 (10.3) 
这 是 正 交 性 原理 的 一 种 简单 表示 。 
性 质 2 新 息 a(l), al) o,a n ESER, Pp 
Fla(met(k}] =0 akgn-l (10.4) 


这 是 下 式 [ 匈 第 3 章 习题 20(e)] 
E| fan) ftl) =U tsk%n-i 

的 另 一 种 表示 。 实 际 上 , 式 (10.4) 表 明 , 式 (10.1) 和 式 (10.2) 表 示 的 新 息 过 程 a{ n) 是 白色 的 。 

性 质 3 观测 数据 |y(1),y(2),… ,y(nR)1 与 新 息 |al1),a(2),…,aln) 之 闻 丰 在 一 一 对 
应 的 关系 。 因 为 惜 助 因果 可 遂 汪 波 器 ,可 以 由 一 个 序列 得 到 另 一 个 新 列 ,而 不 会 圭 失 任何 信 
息 。 于 是 可 以 写 为 

{y(1), ¥(2), y(n} == {a(1), a(2),..., (71) } (10.5) 

为 了 证 明 这 个 性 质 ,我 们 应 用 Gran-Schmidt 正 交 化 过 程 ( 详 见 第 3 章 )。 该 过 程 假 设 , 观 测 值 
y(1),y(2),… ,y(n) 在 代数 意义 上 是 线性 独立 的 。 首 先 令 


a(1) = y(1) (10.6) 
其 中 假定 7(11Q9o) 为 0。 其 次 , 令 
a(2} = y(2) + ait) (10.7) 
选择 系数 wl, 使 得 新 息 a(1) 与 a(2) 正 这 , 即 
Ela(2)a*{1)] = 0 (10.8) 
和 欲 使 上 式 成 立 , al 应 选 为 
人 ,1 = a (10.9) 


MRA RAS, al 是 一 个 偏 相关 系数 (partial correlation coefficient) ,因为 它 等 于 观测 值 y(1) 
和 vy(2) 的 互相 关 并 对 y(1) 的 均 方 值 进行 归 一 化 。 
其 次 ES 
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a(3} = y(3) + a y(2} + 人 2 (10.10) 


其 中 系数 ac 和 oa 的 选择 ,应 使 得 a(3) 与 a(1) 和 a(2) 都 正 交 , 依 此 类 推 。 因 此 ,一 般 来 说 ， 
可 以 通过 


all) i 0 0 +j y(1) 
al? tl 1 ihe 0 2 

| = : : ae ss (10.11) 
aln) a-i nl fa-l.n-2 人 1 yin} 


将 观测 数据 7(1),7f(2),…,y(n) 变 换 为 新 息 a(1) a(2) afa)。 式 (0.110) 右 边 下 三 角 变 
FER PH k 行 的 非 零 元 素 表 示 为 lg l ,其 中 k= lodha 这 些 元 素 代 表 
-1 阶 前 向 预测 误差 滤波 器 的 系数 。 注 意 , 对 所 有 的 上 上 ,aio = 1。 因此 ,给 定 观测 数据 y(1)， 
eeey ,就 可 以 计算 出 新 息 a(1),a(2),…,aln)。 在 变换 过 程 中 没有 信息 a(1)， 
a (2),…,aln) 损 失 , 因 为 我 们 可 以 从 新 息 中 巾 复 出 原始 的 观测 数据 y(1),y(2),… ,y(n)。 
核 复 时 只 要 将 式 {10.11) 的 两 边 前 乘 下 三 角 变 换 矩 阵 的 逆 阵 即 可 。 该 变换 移 阵 是 非 奇 异 阵 , 因 
为 对 所 有 的 n 其 行列 式 的 值 都 为 1。 因 此 ,该 变换 基 可 道 的 。 
于 是 .由 式 (10.5) 可 以 写 出 

x(alY,) = 给 定 观 测 数据 y(1),y(2),… ,y(n) 时 x(n) 的 最 小 均 方 估计 
或 等 效 地 

x(al,) = SERB all) ,a(2),… ,ealn) 有 时 xtn) 的 最 小 均 方 估计 
将 估计 (nl 电 ,) 定 义 为 新 息 all) al) o a (ORRERA 


(n|%,) = È halk) (10, 12) 
EF, b, 是 待定 量 。 因 新 息 atiyaf2), ,eta 相互 正 交 , 故 可 选择 b; 使 估计 误差 


xin) -xni Y RBR Aah, TEE 
E[x(n)a*(k)] 


* Elatk)a*(k)] 
将 起 (10.12) 中 下 = n 的 项 分 离 出 来 , 式 (10.12) 可 重 写 为 


n-i 
in| Y) = > balk) + baln) (10.14) 





1 (10.13) 


其 中 
_ Elx(n}a*(n)] 
Pa = Ejalnjat(n)] ae 
然而 ,由 定义 可 知 , 式 (10.14) 右 边 的 求 和 项 等 于 前 一 估计 x(n - 119,10 因此 ,可 将 我 们 所 
寻求 的 递归 估计 算法 表示 为 
x(n |%,) = i(n — LY) + bæn) (10.16) 
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其 中 局 由 式 (10.15) 定 尖 。 这 样 ,通过 对 前 一 估计 x(n - 1[ 氏 ,1) 加 上 一 个 与 新 息 a(n) 成 下 
出 的 修正 项 ba(n), 就 可 以 得 到 更 新 的 估计 x(n lD,). 
| 式 {10.1) 0010.3) C10. 15) ARCO. 16) Ae BG , AU Bes) Oy te eT 8 BY a E 
预测 器 -修正 器 ,如 图 10.1 所 示 。 这 一 结构 包含 两 步 : 
利用 观测 值 计算 称 为 “新 息 ” 的 前 向 预测 误差。 
利用 新 筷 更 新 ( 亦 即 修正 ) 与 随机 变量 的 观测 值 线性 由 关 的 最 小 均 方 估计 。 


| 时 间 更 新 : 测量 更 新 : 


MMi rin) AREH rin) 
KRENA 情 值 的 性 正 





10.1 用 预测 器 - 修正 囊 递 归 描 绘 最 小 均 方 佑 计 问题 的 求解 过 程 
有 了 图 10.1 所 示 的 简单 而 义 有 效 的 结构 描述 ,很 容易 研究 更 一 般 的 卡尔 曼 滤 波 问 题 。 


10.2 卡尔 曼 滤 波 问 题 


考虑 图 10.2 中 用 信和 号 流 图 表示 的 线性 动态 离散 时 间 系 统 。 图 中 给 出 的 系统 时 域 描 述 有 
LAF AR (Gelb, 1974) ; 

二 数学 上 和 表示 上 方便 

人 与 物理 过 程 关系 密 切 

e 它 是 分 析 原 系统 统计 特性 的 有 用 基础 
过 程 方程 测量 方程 


过 程 噪声 AMi 
vin} xin + 1) x(n) yir) 











调 量 过 程 


vh} 


图 10.2 线性 动态 离散 时 间 系统 的 信号 流 图 表示 


“状态 "的 概念 是 这 种 表示 的 基础 。 状 态 向 量 , 或 简单 地 说 状态 [在 图 10.2 中 用 x(n) he 
示 ] ,定义 为 数据 的 最 小 集合 ,这 组 数据 足以 惟一 地 描述 系统 的 自然 动态 行为 。 换 句 请 说 ,状态 
由 预测 系统 未 来 特性 时 所 需要 的 .与 系统 的 过 去 行为 有 关 的 最 少数 据 组 成 。 典 型 地 ,比较 有 代 
表 性 的 情况 是 ,状态 x(n) (假设 为 M 维 ) 是 未 知 的 。 为 了 估计 它 , 我 们 使 用 一 组 观测 数据 ,在 
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图 中 用 向 量 y(n) 表 示 。y(n) 称 为 观测 向 量 或 简称 观测 值 ,并 假设 它 是 N 维 的 。 
在 数学 上 ,图 10.2 表示 的 信号 流 图 隐 含 着 以 下 两 个 方程: 


(1) 过 程 方程 
x(n + 1) = F(a + 1n)x(n) + v (n) (10.17) 
AP Mx) 向 量 v (AREER eR AA Se E 
文 为 


Efu (af (k)] = eee a (10.18) 
过 程 方程 (10.17) 将 状态 x(n) ea AR BL RE ASR ETE 
Wer p,(n) 激 励 下 的 输出 ,如 图 10.2 左边 所 示 。 该 线性 动态 系统 可 由 两 个 单元 的 反 
锁 连 接 惟一 表征 ,它们 分 别 是 :用 Fn + 1,n) 表 示 的 转移 矩阵 和 用 :-!'I 表示 的 存储 
单元 ,其 中 z ' 是 单位 延 时 ,1 是 M x M ERE, PERE FCn + 1,n) 表 示 从 n 时 刻 
到 = + 工时 刻 系统 的 转移 , 且 上 有 如 下 性 质 : 

a) 乘法 规则 

F(a, m) Fm D = F(n, £) 


其 中 im 和 n 为 整数 。 

b) 求 逆 规则 
F(x, m) = Fim, n) 

其 中 m 和 为 整数 。 

从 上 面 两 条 规则 容易 看 出 
Fínn) = 1 
还 可 以 看 出 ,如 果 图 10.2 所 示 的 系统 是 静态 的 , 则 转移 矩阵 F(n + ln) AR 
(2) WETE 该 方程 将 观测 向 量 表示 为 
y(n) = Clajx(n) + v2(n} (10.19) 

其 中 C{n) 是 已 知 的 Nx MWEE, Nx 1 向 量 六 人 Cn) 称 为 测量 噪声 , 建 模 为 零 均 
值 的 白 噪 声 过 程 ,其 相关 矩阵 为 


Q(z) n=k 


O EE | (10.20) 


测量 方程 (10.9) 确 立 了 可 测 系统 输出 y(n) 与 状态 x(n ZAIN KAR, WA 10.2 右边 
所 示 。 
假设 状态 初始 值 x(0) 与 mm 和 rle ne OMAR. ERAS n(n) 和 y(n) 相互 
统计 独立 ,于 是 有 
Elvin] =O =x BAN ATK (10.21) 


BAR BB ED, BOA Se A AKA AC A AR AS A A A, BT 
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以 规范 地 描述 为 : 
利用 所 有 由 观测 值 yD ¥(2) y(n) 组 成 的 观测 数据 ,对 所 有 的 n=l, FARRS x(i) 
的 最小 均 方 估计 。 
车 i=n, Wie AMIE: A i> n, 称 为 预测 ; 若 leica MERATE. ar, RIRE 
滤波 和 预测 ,它们 是 密切 相关 的 - 


10.3 新 息 过 程 


为 了 求解 盯 尔 曼 滤 波 问 题 , 我 们 将 应 用 基于 新 息 过 程 (innovations process)? 的 方法 。 根 据 

第 10.1 HS AMOR RA: MÉE y(n Y ORR n= 1 时刻 到 nn-1 时 刻 ( 含 a-1 时 

刻 ) 所 有 观测 数据 过 去 值 给 定 的 情况 下 ,nr 时 刻 观 测 数 据 y(a) 的 最 小 均 方 估计 .过 去 的 值 用 

WE yC), yla), ,y(n - 1) 表示 ,它们 张 成 的 问 量 空间 用 错 , -表示 ,根据 式 (10.1) 和 式 
(10.2) ,将 y(n) 所 对 应 的 新 息 这 程 定 尖 为 

a(n) = y(n) ~ Fa) = 1,2,... (10.22) 


其 中 OM x 1 (Alt of mEnE y(n}) 中 新 的 信息 。 
如 将 式 (10.3) . 式 (10.4) 和 式 (10.5) 的 结果 推广 ,可 发 现 新 息 过 程 具 有 如 下 性 质 : 


1) H a 时 刻 观测 数据 y DAKE g(tn) 与 了 所有 过 去 观测 值 3(1),y(2),…， 


y(n ~ 1),l 
Elatnjy"(k}] =O tSkSn-] (10.23) 
2) MAILE h- APIA A, EA AE 30, BY 
Elataje"(k}]=O isksgn-i (10.24) 


3) 表示 观测 数据 的 随机 向 量 序列 1y(1) ,y(2) ,… yn) Se pea A EY BT dB 
fon 4) 0002) + 0) | 之 间 存在 一 一 对 应 关系 ,因为 借助 于 稳定 的 线性 算 子 可 以 从 一 
个 序列 得 到 角 一 个 序列 ,而 不 释 失 任何 信息 。 因 此 ,可 以 得 出 如 下 关系 


{y(1), ¥(2),....y(a)} == {oll), (2)... on)} (10.25) 


为 了 生成 定义 新 息 过 程 的 随机 向 量 序列 ,我 们 应 用 Gram-Schmidt 正 交 化 过 程 ,这 与 第 10.1 
节 中 的 过 程 相 似 ,不 同 之 处 只 是 现在 是 按照 向 量 和 和 矩阵 表示 该 过 程 的 (见习 题 1)。 





作 ” 由 卡 东 机 fKalman) 本 人 经 典 论文 {1960) 介 绍 的 卡尔 曼 滤 波 器 推导 是 基于 正 交 投影 定理 的 。 对 于 标量 随机 变量 的 情 
OE, PEE FE AY FARE AN F ( Doob , 1953; Kalman, 1960) ; 
用 xfn) 和 y(n) a Bs LAL B 
E[x(a)]= Ely(n}!=0 对 于 所 有 a 
假设 痊 定 驱 测 到 的 随机 变量 y(1),y(2),-… ,y(n) ,并 说 以 下 条 件 之 一 成 立 : 
G) 随机 过 程 sin) 和 和 ytn) 足 高 斯 过 程 ,或 
Cit) 限制 最 优 估 计 是 班 测 到 的 随机 变量 的 线性 削 数 , 代 恒 函数 定义 为 xfnm) 与 其 估 值 之 差 的 均 方 值 。 
BSA BE y), (2). le), el ERE E x(n YE LT REZ OY E TE 
交 投影 。 与 卡尔 总 的 推导 方法 不 同 ,这 里 介绍 的 卡尔 晶 滤 波 器 荐 根据 Kailath(1968,1970) 提 出 的 新 息 方法 推导 的 - 
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10.3.1 新 息 过 程 的 相关 矩阵 
为 了 确定 新 息 过 程 g(r) 的 相关 矩阵 ,首先 递归 地 求解 状态 方程 (10,17), 从 府 得 到 


点 一 ] 
x(k) = F(k,O)x(Q) + 人 Een + ty) (10.26) 

这 里 用 到 了 转移 矩阵 的 乘法 规则 以 及 以 下 两 点 假设 : 

1) 状态 初始 值 是 x0); 

2) 当 ns0 时 ,观测 的 数据 以 及 曲 声 向 量 p(n) 均 为 零 。 
FA (10.26) RH x(k) de x(0) 9,1), n (2) cesy Ck- DR EAS, 

HE BAU WERA RE y(n) PRR AS E x(0) 和 过 程 噪 声 向 量 y,(n) 都 不 相关 。 
因此 , 式 (10.26) 两 边 同 时 左 乘 v3 Cn) ,再 取 期 望 , 可 推出 


| Elx(kywi(n)]=O kaso (10,27) 
相应 地 ,从 测量 方程 式 (10.19) 可 推出 
Ely(k)ei(n}}=O0 0gkgn-] (10.28) 
此 外 ,可 以 写 出 
Ely(kjvi(4)]} =O 9 Oskean (10.29) 


给 定 过 去 的 观测 值 yO), ,y(n -1) 及 它们 所 张 成 的 空间 包 ,-1 ,由 测量 方程 式 (10,19) 还 
可 以 得 出 观测 向 量 当 前 值 y(n) 的 最 小 均 方 估计 
Fin Ya) = Caila Y-i) + ol Yi) 
然而 ,由 于 y,(n) 与 过 去 所 有 的 观测 值 y(1),… y(n =- ABIES [EA (10.28) ], BR a 
向 量 的 估计 ¥,(nIY. ) 为 0。 因 此 ,上 式 可 以 简化 为 


$n | YY, = Ciia Yn-1) (10,30) 
于 是 ,由 式 (10.22) 和 式 (10.30) ,可 以 将 新 息 过 程 表 示 为 
a(n) = y(n) — Cikla |Y). (10,31) 
将 测量 方程 式 (10.19) 代 人 式 {10.31) ,得 
æla) = C(nje(n,n — 1) + min) (10.32) 


Hp eln, a- DEM n -1 时 刻 及 其 以 前 的 数据 进行 预测 时 ,得 到 的 n ARR 
量 。 即 e( n,n 了) 是 状态 Kn) fi x(n IY, ZB 


elmn — 1) = x(n) — ifn] Yy) (10.33) 
注意 ,预测 状态 误差 向 量 v (n) SUR ov, (AA Ee AA 2), 
新 息 过 程 a(n) BAH ee A 
R(n) = Fla(nja"(n)] (10.34) 


因此 ,将 式 (10.32) 代 人 式 (10.34)》, 展 开 有 关 项 ,并 利用 向 晶 s(n,n ~ 站 与 y,《n) 的 正 交 关系 ， 


可 以 得 到 
Rin) = C(n)K(a,n — 1}C7 (a) + Qu(n) (10.35) 
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FCB OQ, (nn) 是 测量 噪声 向 量 y,{n) 的 相关 窍 阵 , M x MO Kn, -1) 称 为 预测 状态 误差 相 
AE ESN 

K(n,2 = 1} = Eletnn— lje (an — 1) (10.36) 
其 中 ,s(n,n - 1) EMM RSRA SM. E Kn. n- 1) 诛 来 是 用 于 统计 描述 预测 估计 
x(alY,_.) PREN. 


10.4 应 用 新 息 过 程 进行 状态 佑 计 


下 面 , 我 们 根据 新 息 过 程 导出 状态 xi) 的 最 小 均 方 估计 。 从 第 10.1 节 的 讨论 中 我 们 已 经 

得 出 ,这 个 估计 可 以 表示 成 新 息 过 程 w1),a(2),…,e(z) 序 列 的 线 任 组 侣 [对照 式 (10.12)]， 
ap 

RLY) = È Bik jack) (10.37) 


其 中 合 ; (4) 1]?., 是 一 组 待定 的 时 x 交 和 抢 阵 。 根 据 正 交 性 原理 ,预测 状态 误差 向 量 与 新 息 过 程 
正 交 , 即 
Eleli, na’(m)] = E{[x(i) 一 放生 Je” 
=0 m=1,2,...,n 
将 式 (10.37) 代 大 式 (0. 强 ) ,并 利用 新 息 过 程 的 正 交 性 质 , 即 式 (10.24) ,得 
E|x(i)or"(m)} = B,(m) Ela(m)a%(m) | 
= B(m)R(m) 

Ke, (10.39) Pz De BS A Fea R'm) ,可 得 B (tm) 的 表达 式 为 

RB(m) = E[x(Dat(m)]R Cm) (10.40) 
最 后 ,将 式 (10.40) 代 大 式 (10,37) ,得 到 最 小 均 方 误差 估计 


il = È Extia KR COatb 


(10.38) 


(10.39) 


= Y Efka" (k) |R (k)æ(k) 
k=l 


+ E[xtia(n)|RU(n)a(n) 
BO i=n+1 A 
x(n + 1|Y,) = 号 gfain + Do ( KIRK a(x) 
k=l (10.41) 
+ Elx(n + le (n)|R(nja(n) 
然而 ,m+1 时 刻 的 状态 x(n + 1) 4g n 时 刻 状态 x(n) 的 关系 由 式 (10.17) 给 出 。 因 此 ,利用 这 个 
关系 式 ， 对 于 0 二 天生 mn 有 
Elx(n + 1)04(k)} = E{[ F(a + 1 n)x(n) + viln) os(k)} 
= F(n + 1, ajE|x(n)e"(k)| 


其 中 (Ck) 只 与 观测 数据 y(1),…,y(E) 有 关 。 因 此 ,由 式 (10.29) 可 知 ,y(n) 与 (上) 徙 此 正 交 


(10.42) 


第 10 章 FRERRKB 377 


(其 中 0 kn)。 利 用 式 (10.42) 以 及 当 ian ih xCilM HRA, EROA Ak 
求 和 项 改写 为 


S [x(n +e |RYaja(k) = Fin + Ln) VS B[xtnda"(k) RU balk k) 
k=l k=l 


= Fin + 1, n(n Yp) CR 
为 了 进一步 讨论 , 引 人 如 下 基本 定义 。 
10.4.1 卡尔 机 增益 
SEM Mx NEE 
Gin) = Elx(n + 1)e”(n)]R !(n) (10.44) 


其 中 Elx(n+ De" (n) ERARE x(n + DAP BE m) HEARE, AAEM 
和 式 (10.43) 的 结果 ,可 以 将 式 (10.41) 简 单 地 重 写 为 
(mn + 1)Y,) = Fin + 1,n)%(n|%,-1) + Graln) (10.45) 


式 (10.45) 具 有 明确 的 物理 意义 。 它 表明 ;线性 动态 系统 状态 的 最 小 均 方 估计 X(z + 11%, ) BY 
HAIA x(n, RE, RERRE RE Fn +1,m) ,再 加 上 修正 项 Gajaln) 
即 可 。 修 正 项 等 于 新 息 过 程 am ARAEE G(n)。 为 了 表示 对 卡尔 曼 开 创 性 贡献 的 认可 ， 
将 矩阵 Gn) RA KA SIY fe (Kalman gain)。 
现在 剩 下 惟一 要 解决 的 问题 是 ,怎样 以 一 种 便于 计算 的 形式 来 表示 卡尔 曼 增 益 Gin) 
为 此 ,首先 用 式 (10.32) 和 式 (10.42) 将 x(n + 1) a 
E[x(n + 1)æ”(n)] = Fln + 1, m)E[x(n)a"(n)] 
= Fin + 1,n)E[x es n—1)+ v,(ny)" | (10.46) 
= Fin + 1, njE[x(nje"(n, n — 1]C"(r) 
式 中 利用 了 状态 x(n) SPEAR n (nr) ARK HK (10.27) XBR. AK, h TURE 


误差 向 量 g(n,n —1)Sftit nN ESE, Bt x(n ID, 5 e (nn -了 乘积 的 期 望 为 零 。 
这 样 ,用 预测 状态 误差 向 量 s(n,n — 1) RAEI x(n) ,将 不 会 引起 式 (10.46) 变 化 , 故 有 


Elx(n + ar(n)] = Fn + 1,nEle(nn - 1)e(n,n ~ 1))C%(n) (10.47) 
Hy s0 (10,36) FLAY ROMENA S TTR RE. MAULA A 
E[x(n + 1ja(n)] = Fin + 1, n)K(n,n — 1)C%(n) (10.48) 
我 们 现在 重新 定义 卡尔 曼 增 益 。 为 此 ,将 式 (10.48) 代 人 式 (10.44) ,得 
G(n) = F(a + 1, n)K(n,n — Cn)R (Cn) (10.49) 


其 中 相关 矩阵 R(x) XK C10.35) 52 X 

10.3 表示 用 式 (10.49) 计 算 卡 尔 曼 增益 G(n) 的 信号 流 图 。 一 旦 求 出 G(r) ,就 可 以 用 
式 (10.45) 对 一 步 预测 进行 更 新 ,由 给 定 的 旧 值 x(n 1 错 ,-1) 计 算 xCn+11 氏 ;), 如 图 10.4 所 示 。 
图 中 利用 了 式 (10.31) 的 新 息 过 程 aln). 


378 自 适 应 滤波 器 原理 





J EA F valo AE E PE 





Saab inna 
y > Gin) 
图 10.3 卡尔 蝇 增 益 计算 器 
uct 线性 动态 系统 模型 
| 更 新 状态 估计 





TED ate + O) 





AKER 
10.4 ”一步 状态 预测 器 ;给 定 旧 估计 a nY. MAN y(n), cr A RAR BC + 11D) 


10.4.2 Riccati 方程 


事实 上 , 式 (10.49) 对 计算 卡尔 紧 增 益 G(n) 并 不 是 十 分 有 用 ,因为 它 需要 知道 预测 状态 误 
差 相 关 抢 阵 下 (n,n - 1)。 为 克服 这 一 点 ,我们 导出 计算 Kin, n- 1) 的 递归 公式 。 
预测 状态 误差 向 量 stn + 1,n) 等 于 状态 x(n + 1) 与 一 步 预 测 x(tn + 11 各,) 之 差 [ 见 式 


(10.33) ] 

efin + ln) ox{a+1}- k(n 十 11%) (40.50) 

将 式 (10.17) 和 式 {10.45) 伐 和信 式 (10.50) , FEM BDA aln BEAL (10.31), 4 

e(n + jn) = Fla + 1, n)an) — x(0/%,-1)] 
— Gin)[y(n) -COALal )| 
其 次 ,利用 式 (10.19) 消 老式 {10.51) 中 的 xm) ,可 得 递归 计算 预测 状态 误差 向 量 的 差分 方程 
e(n + t,n) = [F(n + Ln) — G(n)C(n)Je(4, 4 -DT 
+ v(t) 一 G(n)vo(1) 


+ vín) (10.51) 


(10.52) 


第 10 章 FRERRE 379 





预测 状态 误差 疝 量 s(n + 1,m) 的 相关 矩阵 为 ! 兄 式 (10.36)] 
Kin + 1,4) = Ele(n + ,ner(n + 1, 7}] (10.53) 
将 式 (10.52) 代 人 式 {10.53) ,由 于 误差 癌 量 eC nn — 1) SR e Cn) Av, (2 BRAM, 
Kn + In) = [Fn + 1,7) — G{a)Cin) | Konn — D[Fia + 1a) 一 和 (Ce ” 
+ Qin) + GQ NG (xn) 
HP QI QDA v (a) vln RER, Hh 10.54) GRA. AAA 
(10.49) AIR (10.35) 2 ER SH i, AA AR AS 2S A EH) Riccati BA HRY 


(10,54) 


Kin + la) = Fo + 1, DKE Gn + in) + Qn) (10.55) 
在 式 ({10.55) 中 引 人 了 新 的 Mx MERE K(n) ,其 递归 形式 为 
Kin) = Kina — 1) — Fant GNC Kn, n ~ 1) (10.56) 
这 里 ,利用 了 如 于 性质 


Fín + lajF(n,a +1) =1 


JH PE OE ARPER FER PR EE KC RR ER 10.5 节 中 介绍 ]。 
图 10.5 是 式 (10.56) 和 式 (10.55) 的 六 和 号 流 图 表示 。 这 幅 图 可 看 做 Riceati 方程 求解 器 ,给 定 
Klin,n 一 1), 它 可 计算 更 新 值 K(n+1,n)。 






hin) 
STAR AY (22) 
THN 


Fina + 1) 


PEETA 
Gin) 


10.5 递归 计算 预测 状态 误差 相关 和 矩阵 的 Biccati 方程 求解 器 





D Ricca 差分 方程 是 为 纪念 5.J.T.Riceat 而 命名 的 。 访 方程 在 控制 论 中 具有 特别 重要 的 瘟 尽 。 
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式 (10.49) , 式 (10,35), 式 (10,31). 式 (10.45). 式 (10.56) 和 式 (10.55) 定 义 了 卡尔 曼 一 步 预 测算 
法 。 


10.5 滤波 


下 面 ,我 们 所 要 考虑 的 信号 处 理 运 算是 姜 波 。 特 别 是 ,我 们 希望 利用 前 面 讨论 的 一 步 预测 
算法 来 计算 滤波 估 i| Y) o 

首先 注意 到 状态 x(n) ALORS v,(n) 相 互 独立 。 因 此 ,给 定 时刻 及 其 之 前 的 观测 数 
据 [ 即 给 定 ¥(1),… ,y(n)], 由 状态 方程 (10.17) 可 得 n +1 时刻 状态 a +1) 的 最 小 均 方 估 计 
为 


kfn + 1Y = F(a + J, aR Yy + bn | Yna (10.57) 


HAEE v (apik y Fy) y(n) , 故 相应 的 最 小 均 方 估计 vn ID WE. F 
是 , 式 (10.57) 简 北 为 


K(n + 1/Q,) = F(a + 1, n)k(n |Y) (10.58) 
为 了 得 到 滤波 估计 x(n IY, ) ,将 式 (10.58) 两 边 同 时 左 飞 以 转移 第 阵 F(n,n +1), 可 得 
i(n jY) = Flin,n + 1)i(n + 1|%,) (10.59) 


该 式 表明 ,如果 已 知 一 步 预 测 问题 的 解 [ 即 最 小 均 方 估计 x(n + 119, BARRE RBH 
阵 F(n,n+1) 乘 以 x(n+1 名 ,) 就 可 以 得 到 相应 的 滤波 估计 (nl 久 ,)。 


10.5.1 滤波 估计 误差 和 收敛 因子 


在 滤波 框 染 中 ,很 自然 地 根据 状态 的 滤波 估计 定义 滤波 估计 误差 向 量 为 
e(n) = y(n) — Cln)k(n|%,) (10.60) 


这 个 定义 与 式 (10.31) 新 息 向 量 afn) 的 定义 相似 ,只 是 将 预测 估计 x(n (YR t 
x(n | 外, ) 人 代替。 将 式 (10.45) 和 式 (10.59) 代 人 式 (10.60) ,得 
e(n) = y(n) ~ C(n)&(n|%,_1) — C(n)F(n, n + 1)G(n)o(7) 
= a(n) — Cfn)Fin,n + 1)G(aja(n) (10.61) 
= [I — C(n)F(n,n + t)G(2) laln) 


式 (10.61) 方 括号 内 矩阵 量 称 为 收 伍 因子。 利用 这 个 量 ,建立 了 将 新 息 向 量 a(n) 转 化 为 滤波 
估计 误差 向 量 e(n) 的 计算 公式 。 利 用 式 (10.49) 消 除 上 式 中 的 卡尔 曼 增 益 Gn) RAM, 
THROS DESARRO 

e(n) = Q,(n)R'(n)a(n) (10.62) 
其 中 Q,(n) 是 测量 噪声 过 程 ww(a) 的 相关 矩阵 ,而 R(n) 是 由 式 (10.35) 定 义 的 新 息 过 程 aln) 
的 相关 和 矩阵。 出 式 (10.62) 可 以 看 出 ,如 果 不 考 虑 左 乘 以 Qlan), WWE R (ne FRE 
波 器 理论 中 起 到 了 收 黎 因 子 的 作用 。 事 实 上 ,在 @(n) 等 于 单位 阵 的 特殊 情况 下 , 道 乍 峰 R ' 
正 是 这 里 定义 的 收 钱 因子 。 
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10.5.2 滤波 状态 误差 相关 和 矩阵 


前 面 ,在 Riccati 差分 方程 (10.55) 中 引入 了 于 x ME Kin). Pi, RIES 
阵 等 于 滤波 估计 x(n OP AEA IRS FEE ,来 得 出 现 正 在 讨论 的 标准 卡尔 曼 滤 滤器 
BOM ARH. 
将 状态 xfa) 与 滤波 估计 x(n YE OR RAS RSE TE eln), BI 
e(n) ~ xin) — ifaj %,) (10.63) 


将 式 (10.45) 和 式 (10.59) 代 入 式 (10.63), 利 用 F(x,n + DA Fin +1, WREST Aa, 
可 得 
eln) = x(n) 一 &(n|Y,_,) — Fin, n + 1)Ginjeln) 
= e(a, n ~ 1) — Finn + 1G(n)e(n) 


其 中 etn,n -人 是 利用 am -1 时 刻 及 其 之 前 的 数据 得 到 的 = 时刻 的 预测 状态 误差 向 量 ,a(5) 


是 新 息 过 程 。 
根据 定义 ,g(rn) 的 相关 矩阵 等 于 期 望 ELstn)e (a)l BR C10.64), 可 将 此 期 望 表示 


(10.64) 


为 
Ele(aje"(2)] = Ele(a,n — Le"{a,n — 1)] 
+ F(n, a + 1)G(a)E[e(nje™(n) |G" (Fr (n,n + 1) 
— Ele(n,a ~ Le" (n) |G (n)F* (n,n + 1) 
— F(a + LajG(njEla(aje*(a,n — 1)] 
仔细 分 析 一 下 式 (10.65) 的 右边 ,可 以 发 现 其 中 的 四 个 期 望 可 分 别 解释 如 下 : 
1) 第 一 个 期 望 等 于 观测 状态 误差 相关 和 矩阵 
Kinn—1)= Fletn,n— le"(n,n — 1)] 
2) ZZW aS Te BE a(n HEEE 
Rin) = Ela(nje*{(n)| 
3) 第 三 项 中 的 期 望 可 以 表示 为 
Ele{n,n — ler(n)] = E[(x(n) 一 Hn | Yi)" (n)| 
= Elx(njea(n)| 
其 中 ,利用 了 估计 x(n IY.) SHEE mw(n) 正 交 这 个 事实 。 其 次 ,由 式 (10.42) 可 
知 ,通过 令 k- ,然后 将 其 两 边 词 时 左 乘 以 F (n+1,n)=Fl(n,n+1), 有 
E[x(njo?(2)}) = F(a, n + 1)E[xtn + Taa(m] 
= Flan + 1)G(njR(n) 
式 中 最 后 一 行 ,利用 了 式 (10.44)。 从 而 
Ele(n,n ~ 1)o(n)] = F(n, n + 1)G(n)R(a) 


类 似 地 ,可 以 将 第 四 项 中 的 期 望 表 示 为 


(10.65) 
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Elate inn ~ 13] = RDG” (aE (a, 2 ~ 1) 
利用 式 (10.6 的 ) 的 结果 ,可 得 


Ele(nje4(n)] = Kinn — 1) — Fina + GUR) G in)F (n,n + 1) (10.66) 
对 这 一 结果 可 做 进一步 简化 ,已 知 [ 见 ( 式 10. 49) J 
G(n)Rin) = Ffr + 1, n)K(n.n — 1)C4(n) (10.67) 
FA zt (10.66) MR (10.67) , Ai AS Ee ER IEN, 4 
Ele(nje*(n)| = Kian — 1) — Kin — 1) C8) G4 (nF (n,n + 1) (10.68) 
利用 Ele(n)e"(n) ] A Kia, n - 1) 的 埃 尔 米 特 (Hermnitian) 特 性 ,有 
Fle(aje"(a)] = K(n,n ~ 1) — Fonn + DGC Kn,n — 1) (10.69) 
比较 式 410.69) 和 式 {(10.56) ,容易 看 出 
Ele(nje"(n}] = K(n) (10.70) 


1% 22 4H , Riccati 差分 方程 (10.55) 中 用 到 的 矩阵 Kn), SE RRR SRE A. EP 
K(n) 用 做 滤波 估计 x(n | 氏 , ) 中 误差 的 统计 措 述 。 


10.6 初始 条 件 


为 实现 第 10.4 PMA 10.5 节 中 介绍 的 一 步 预 测 和 滤波 算法 ,很 显然 需要 规定 初始 条 件 。 
下 面 就 这 一 问题 进行 讨论 。 l 
不 可 能 精确 知道 过 程 方程 (10.17) 的 初始 状态 , mE A AAE E TE o 
在 ia=0 时 刻 设 有 任何 观测 数据 的 情况 下 , 可 选择 初始 预测 估计 为 
%{1/U)} = E[x(1)] (10.71) 
HARA 
K(1,0) = El(x(1) — Efx(1))(x(1) — £[x(1)})"] 
= Tl 


PREP EWG REAM ELI, TEL TS UE AR AST n Y EERE). HM 


果 假 定 状 态 向 量 x(n OES ,可 将 式 (10.71) 和 式 (10.72) 简 化 为 
x(1|%} = 0 


(10.72) 


和 
K(1,0) = E[x{1)x"(1)] = Mo 
10.7 EFRBBRBSS 
# 10.1 总 结 了 求解 卡尔 曼 滤 波 问题 @ 的 公式 中 用 到 的 变量 和 人 参数。 滤波 器 的 输 人 是 回 
D 在 表示 表 10.1 PAE A EE BS FTA x YA an IY, RSS x(n) GRATE 


括 规 测 悄 y(n) 之 前 的 估计 ?和 后 验 估 计 [ 包 括 观测 值 yO SRI) ER RRP AE S 
x 和 记分 别 表示 状态 的 先 验 佑 计 和 后 验 佑 计 。 同 样 HK, BK, 分 别 代 赫 这 里 的 下 (n,n ~ DA K). 
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量 过 程 y(n) ,用 高 量 空间 下。 表示 ,滤波 器 的 笨 出 是 状态 向 量 的 滤波 估计 ni 中,)。 表 10.2 
总 结 了 对 基于 一 步 预 测算 法 的 卡尔 曼 滤 波 器 (包括 急 始 条 件 )， 
表 10.1 卡尔 时 变量 和 参数 小 结 








变量 FEM 锥 数 
x(n) n HARE Mx 
yin) n 时 刻 观 测 盾 mxl 
Ftn+l.n} 从 nn 时刻 到 n+ 1 时 划 的 转移 矩阵 MxM 
Cin) n ESA ed ah Nw if 
Qin) ELPRE v Cn KA EF MxM 
in) MEHE rín AAEE NxN 
a HERM By) yi2), eae n 

HERE TAA A 
Gn) a ARRS MxN 
gin) n 时 刻 新 息 问 量 Nxl 
Rin) 新 息 疝 其 g(a} 的 相关 矩阵 NXN 
Kinn 1) xf ng ORARIE MxM 
Kín) ta Y RE HEE MxM 


表 10.2 ”基于 单 步 预测 的 卡尔 县 滤波 器 的 小 结 

WA TE: 

WAA = [yy eya)! 
已 知 参数 ; 

BM = F(n+ ln) 

测量 矩阵 = Cla) 

过 程 噪声 的 相关 符 阵 = Qn) 

MRE H HRE RE = Qin) 


计算 :nm = 1,2,3… 
Gin) = Fin + 1, n}K(a,2 — CAIRN) CA Kia, — Cn) + Q.(n)]" 
a(t) = y(n) 一 C(n)z(n|%,-) 
a(n + 1/9,) = F(a + 1n)a(n(B,-1} + Gn)atn) 
Kin) = K(n,n - 1) - Ems + OGC Kin n — E) 
K(n + 1,n) = Fn + TEA + 1n) + Qin) 


PERH: 


a(i) = E[x(1)} 
K(1,0) = E[(x(1) — E[u e - Elh] = Th 
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图 10.6 FAM KA SERED 
图 10.6 为 卡尔 曼 滤 波 器 的 框图 表示 ,该 图 基于 三 个 功能 块 : 
e 一 步 预测 器 (图 10.4) 
e 卡尔 曼 增 益 计 算 器 (图 10.3) 
è Riccati 方程 解 算 器 (图 10.5) 


10.8 卡尔 曼 滤 波 器 作为 RLS 滤波 器 的 统一 基础 


正如 本 章 前 言 所 提 到 的 ,人 们 关注 卡尔 曼 滤 波 器 理论 的 主要 原因 是 , 它 为 推导 那些 组 成 
RLS 滤波 器 族 的 线性 自 适 应 滤波 算法 提供 了 一 个 统一 的 框架 J。 关 键 问 题 是 ,给 定 一 个 卡尔 曼 
滤波 器 或 其 随机 模型 变形 算法 之 一 ,如 何 得 到 基于 确定 性 模型 的 相应 RLS 滤波 器 呢 ? 

为 了 解决 这 一 基本 问题 ,显然 需要 RLS 滤波 器 基本 动态 特性 的 状态 空间 描述 。 首 先 考虑 
指数 加 权 因 子 A = 1 时 RLS 滤波 器 的 特殊 情况 。 从 第 9 章 中 业已 知道 ,RLS 滤波 器 是 图 9.4 中 
多 重 回归 模型 的 线性 估计 器 。 现 在 ,我 们 再 将 该 模型 示 于 图 10.7 中 。 根 据 这 一 模型 ,参考 信 


中 ”卡尔 区 泪 滤器 理论 在 自 适应 被 波 中 的 应 用 ,首先 出 现在 Lawrence 和 Kaufman 人 1971) 的 文献 中 :见习 题 8)， 接 着 , Go- 
dard(1974) 用 一 种 不 同 于 Lawrence 和 Kaufman 的 方法 ,通过 抽 头 延 巡 线 结 构 , 将 自 适应 滤 湾 同 题 表 示 为 高 斯 噪声 下 
RAURA, CRETA ERRERA. Coad 的 论文 促 合 许多 其 他 研究 痢 去 探索 卡尔 曼 波 波 器 理 
论 在 自 适应 淡 波 问题 中 的 应 用 。 
然而 ,直到 Sayed 和 Kailaa(1994) 的 论文 党 表 , 实 际 上 才 发 现 基于 Ficeat 方程 的 卡尔 曙 恋 波 算 法 及 其 变形 算法 ,如 何 
能 够 正确 地 组 成 与 RLS 族 中 已 知 的 所 有 算法 一 一 对 应 起 来 。 
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号 或 期 望 啊 应 d(x) 与 输入 向 量 (5) 的 关系 为 
d(n) = wiutn) + eoln) (10.73) 
其 中 w, BRA AMS, e (Cn MRR, BBA ARR. KAREA 1, AT 
以 显而易见 ,状态 空间 模型 的 转移 矩阵 是 单位 阵 。 男 外 ,RIS 滤波 器 本 身 的 动态 过 程 是 无 激励 
的 ,这 就 意味 着 过 稳 曲 声 为 零 。 因 此 ,利用 本 章 采 用 的 卡尔 曼 滤 波 莫 概念 ,可 将 4 =1 时 RIS 

滤波 器 的 状态 空间 模型 假设 为 

x(n + 1) = a(z) (10.74) 
yin) = Cln)x(n) + v(t) (10,75) 


在 式 (10.75) 中 ,测量 噪声 (n) EAS RAR. x(n) YR PR SY a] 
wo Mtsh (10.73) Py Ax SESE , FFG (10.75) A A RA Ee, EP Sek 





x(a) = w, 

y(n) = d*(n) _ 
Cin) = ax(m (PTA 一 上 
vín) = es(n) 


(10.76) 


输入 








win M+1) 0 


ee el 


RMW di) 
10.7 多 重 线性 回归 模型 


下 面 考虑 一 般 情况 下 的 RLS 滤波 器 , 即 其 指数 加 权 因 子 A 的 取 值 为 0< a1 的 情况 。 此 时 ， 
可 以 号 出 
x(a + 1} = Fn + 1, n)x{n) (10.77) 


和 
y(n) = ui (rn)x(n) + vn) (10.78) 
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这 里 , 式 (10.76) 中 依然 成 立 的 等 式 只 有 CCn) = (pn) ,这 可 从 为 utn) 与 4 无 关 的 事实 中 得 
PUES. AT SUE DAA BS Font lin) UROCASI MM PERERA RT 
程 (10.78) 与 式 (10.73)RLS 滤波 器 多 重 回归 模型 之 间 的 对 应 关系 TTR PAR 


1) 根据 式 (10.55) 容 易 发 现 , 对 于 无 激励 动态 模型 ,如 令 @fn) =0, 可 得 
K(n + I,n)= F(a + 1,n)Kn)F (n+ 1,n) (10.79) 


另外 ,正如 后 面 将 要 说 明 的 ,表征 我 们 正在 寻找 的 无 激励 动态 模型 的 转移 矩阵 
Fn + Im) 应 该 是 这 样 一 种 形式 ,以 俩 得 式 (10.79) 能 够 简化 为 
Kin + l,a} = Kín) 


E Jes Teg BS So FORTE Kn + 1, n) STR A 
K(n) 具 有 共同 值 。 
2) 假定 测量 噪声 w(n) 的 方差 为 1, 利用 式 (10.35) 和 式 (10.49) ,可 将 卡尔 曼 增 益 公 式 取 为 
向 量 形式 , 且 定 义 为 
_ Fla + 1,4)K(n — Lun) 


n) = Tm Rn 1) (10.80) 








由 第 9 章 的 式 (9.18) ,RLS 滤波 器 的 增益 向 量 定义 为 
A'P(n 一 lafn) 





kin) = Tn Pn TO (10.81) 
虽 式 (10.8) 与 式 (10.81) 的 分 母 相同 。 由 此 立即 得 到 等 式 
K(n — 1) = A'P(x — 1) (10.82) 
如 果 令 
gin} = Fín + 1,n}k(n) (10.83) 
3) 根据 卡尔 曼 滤波 器 的 式 (10,45), 有 
x(n + 14) = F(a + L ailal Yi) + ginjal) (10.84) 
这 里 ,新 息 a( an) 是 标量 。 相 应 地 ,由 第 9 EAT RLS 滤波 器 的 式 (9.25) ,有 
w(n) = Win - 1) + k(n)é*(n) (10.85) 
其 中 &(n) 是 先 验 佑 计谋 差 。 邻 
(n+ 1|Y,) = o(n)w(n) (10.86) 


其 中 p(n) 是 符 定 的 标量 函数 ,将 式 (10.83) 和 式 (10.86) 代 入 式 (10.84) 中 ,并 将 所 得 结 
果 与 式 (10.85$) 进 行 比较 ,可 推出 如 下 两 个 式 子 
Fin + 1,n)e (neta 一 1) = 了 (10.87) 


和 
Fin + inp (nja(n) = é*(n) (10.88) 





第 10 章 FRERRS 387 


HPI RAE, MRS 


F(a + ln) =A (10,89) 

All 
e(n) = A (10.90) 

则 式 (10.87) 成 立 。 这 时 , 式 (10.88) 、 式 (10.86) 和 式 (10.83) 可 分 别 简 化 为 

a(n) = 和 E*{n) (10.91) 
(an + 1/%,) = aD a(n) (10.92) 

和 
gin) = A Ykla) (10.93) 


此 外 ,现在 可 以 看 出 ,如 果 将 式 (10.89) 用 于 式 (10.79), 则 可 得 到 K(n+1,n) = KK(n)， 
从 而 证 明了 步骤 1 给 出 的 关系 是 正确 的 。 
4) 根据 卡尔 紧 滤 波 器 的 式 (10.31) ,有 
a(n) = y(n) — C(n)8(n{Y,-1) 


Sata aA 10: 4) 
相应 地 ,由 第 9 章 关 于 RES 滤波 器 的 式 149.26) ,有 
ln) = d(n) — &”(n — 1)u(n) (10.95) 
将 式 (10.91) 代 人 式 (10.94), 并 将 结果 与 式 (10.95) 相 比较 ,可 得 如 下 等 式 
y(n) = A ™d*{n) (10.96) 


5) 将 式 (10.%6) 代 人 卡尔 曼 滤 波 器 的 测量 方程 式 (10.78), 并 将 得 到 的 结果 与 RLS 滤波 器 
中 多 重 同 归 模 型 的 式 (10.73) 相 比较 ,可 得 如 下 等 汇 
x(n) = A"? w, (10.97) 


All 
y(n} = A et(n) (10.98) 


6) 根据 式 (10.35) 和 式 (10.63) ,可 以 将 式 (10.771 和 式 {10.78) 表 示 的 卡尔 曼 滤 波 器 的 标量 
收 租 因子 定 尽 为 
e(n) 


aln) 





ri(n} = 


1 
1T+COK ~ 1)C¥%(n) 

1 
~ 1+ tw (n)P(n — Dula) 


其 中 e(n) WEARS a (EERE. RLS 滤波 器 用 它 自 身 的 收 
合 因 子 来 表征 , 记 为 y(n) ,并 用 第 9 章 的 式 (9.42) 和 式 (9.18) 来 定义 。[ 注 意 ,不 要 将 





(10.99) 





368 É ik AEE aR 33 ARE 


RLS 滤波 器 的 eln) SER BIER AY elna RB JARE A,A 
1 
1) = Ea aP = Lala) (10. 100) 


Est (10.99) Fah (10.100) HEES , TF BD BT TH 

ri(n) = y(n) (10.101) 
因此 ,很 据 式 (10.97) 20 (10.96) (10.98) 3010.92) 010.82) 3È (10.93) 20.10.91 Ae 
《10.10 切 定义 的 关系 ,可 以 建立 随机 的 卡尔 冯 变 量 与 确定 性 的 HS 变量 之 间 的 对 应 关系 , 表 
10.3 汇 总 了 它们 之 间 的 对 应 关系 。 表 中 的 左 半 部 分 是 卡尔 螺 变 量 及 其 说 明 , 右 半 部 分 是 RIS 
变量 的 相应 内 容 。 但 是 ,在 描述 RLS 的 变量 时 ,为 了 简单 起 见 ,没有 考虑 对 变量 取 复 共 暂 以 及 
与 指数 加 权 向 量 a 之 军 相 乘 的 运算 。 只 有 表 中 的 第 二 条 出 现 了 "指数 加 权 ”, 这 只 是 为 了 与 表 
中 的 第 一 条 有 所 区 别 。 





R103 卡尔 和 变量 与 PLS 变量 之 间 的 对 应 鞠 系 

















{图 30.8 acm {图 10.7 的 多 
FRR Mab | = EOKA) 
说 阴 变量 变量 说 明 
RAMI xG) We hak 
状态 xt a) any, RMS Me 
a WN eS yin} ad" (n) 斯 望 响应 
Ae Vaal vn) A Mes (Cn) NRE 
REM BH— Rw Rn ELFO a7 st law a) Shia Bik 
RABE PRE Kia) 4 Pn) SAW ASRS 
pee ted g(a) akin) Hip 
新 息 aln) ATE (aD 先 验 估计 误差 
HRAT rla) Yin) 转换 因子 
初始 条 件 (iYe) =0 w(0} =0 Ce ag 

K(0) A'O} 


下 面 ,我 们 对 卡尔 曼 泪 波 器 和 RLS RREA RRA BS. BRALA ha a h 
型 为 

x(a + 1) =A x(n) O<A=1 (10.102) 

y(n) = u” (a)x(n) + s(n) (10. 103) 

其 中 na) 为 状态 向 量 ,an) 为 测量 算 阵 ,ya) 是 测量 噪声 ,可 看 做 均值 为 零 .方差 为 1 的 白 

MS. SRA A 和 输入 向 量 n(n) 与 RLS 滤波 器 有 关 。 过 程 方 程式 (10.102} 从 式 

(10.77} 和 式 (10.89) 得 到 。 测 量 方 程式 (10.103) 是 式 (10.78) 的 重复 , 列 出 来 只是 出 于 完整 性 


的 考虑 。 从 初始 条 件 x(0) 开 始 ,由 式 (10.102) 容 易 得 到 
x(n) = Ar(D) 


显然 ,x(0) 与 图 10.7 中 多 重 回归 模型 参数 向 量 w 之 间 的 关系 与 指数 加 权 因 子 4 无 关 。 因 此 ， 


由 式 (10.76) 的 第 一 行 ,可 以 导出 
x{0) = w, 
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FA, ATF AAT EAA w, RR xn) 定义 为 
x(n) = ATW, (10.104) 
式 (10.102] 和 式 (19.103} 的 无 激励 线性 动态 模型 用 图 10.8 Wf SHAR, CHAS 
状态 演变 的 动态 成 分 而 推广 了 图 10.7 KMS RAI, BRA 10.8 的 状态 空间 模型 比 图 
10.7 的 和 多重 癌 归 模型 更 有 效 。 然 而 ,值得 注意 的 是 ,由 于 指数 加 权 因 子 4 限制 在 0< 1 过 1 范 
围 内 ,因此 状态 x(n SATE w, 处 保持 不 变 , 要 人 委 随 n 旦 指 数 增长 (该 问题 的 进一步 讨论 参见 
习题 15)。 
过 程 方程 Mite 





ca 


xin 十 l) Lir) WHEL 





图 10.8 RLS 滤波 器 的 状态 空间 模型 {指数 加 权 因 子 的 范围 为 0< 4 1) 


10.9 卡尔 最 滤波 器 变形 


在 本 节 中 ,我 们 将 构建 刚刚 导出 的 两 项 内 容 : 图 10.8 所 示 的 无 激励 动态 模型 和 表 10.3 给 
出 的 卡尔 曼 变 量 与 RIS 变量 之 间 的 对 应 关系 。 特 别 是 ,我 们 要 用 留 10.8 所 示 的 特殊 模型 导出 
卡尔 曼 滤波 器 变形 。 反 过 来 ,这 些 变形 算法 又 为 推导 平方 根 RIS 滤波 器 和 阶 递归 RLS 滤波 器 
提供 了 基础 ,它们 将 分 别 在 第 11 章 和 第 12 章 中 讨论 。 


10.9.1 协 方差 { 卡 尔 曼 ) 滤 波 算法 


表 10.2 中 总 结 的 卡尔 曼 滤波 算法 ,设计 用 来 传递 状态 估计 (Cn +11 氏 , ) 中 误差 相关 ( 协 方 
差 ) 和 矩阵 KLn+1,n)。 因 此 ,一 般 将 此 算法 称 为 协 方差 (卡尔 昌 ) 被 波 算法 。 对 于 图 10.8 中 的 
无 激励 动态 模型 , 表 10.2 变 为 表 10.4 中 所 总 结 的 协 方 差 滤 波 算法 。 在 表 10.4 中 ,用 gla 
示 卡 尔 蝇 增益 向 量 ,以 与 第 10.8 节 所 表示 的 相 一 致 。 

10.4 图 10.8 所 示 的 特殊 无 激励 动态 模型 协 方差 (卡尔 加 ) 滤 波 算 法 小 千 


和 给 人 标量 过 程 ， 
观测 值 :y(1)，7(27 lad 

Emst.: 
FEER F(a+l,n)=A IE I= 单 位 阵 
HEE Cinj=u(n) 
PRERADE via) at=1 


初始 条 件 : 
(11%) = &lx(1)] 
K(1,0) = E[(x(1} - Efa) - £[x(19))"] = Ha 


390 és ee 
Eta) 


计算 :n=1,2,3,… 
AT Kia — ljun) 
oa (ny — lufa) + 1 
a(n) = y(n) — inaita Yna) 
ifa + 3-%,) = A RY 1) + 各 ef) 
Kin) =A'K(a — 1) — Al? atau ini — 1) 


gla} = 


10.9.2 信息 滤波 算法 


卡尔 曼 滤 波 器 也 可 通过 传递 逆 矩 阵 必 (mn) 来 实现 ,这 种 方法 强调 了 滤波 过 程 的 递归 最 
小 二 乘 特性 。 状 态 误 差 相 关上 第 阵 的 道 矩 阵 下 (mn) 与 Fisher 信息 矩阵 有 关 , 后 者 用 信息 论 的 术 
语 解释 了 滤波 器 的 特性 (Fisher 信息 第 阵 在 附录 D 中 讨论 )。 因 此 ,基于 我 “(n) 来 实现 卡尔 曼 
滤波 算法 常 称 为 信息 滤波 算法 (Fraser,1967)。 

下 面 ,我 们 按 步 又 推导 信息 滤波 算法 。 


步骤 1 对 于 图 10.8 的 特 萄 无 激励 动态 模型 ,我 们 从 Rica 差分 方程 出 发 进行 讨论 ,该 
方程 具有 如 下 形式 ( 见 表 10.4 中 算法 的 最 后 一 行 ) 


K(n) = AK(r — 1) -A gn (OK 一 1) (10.105) 
FH UE Ty FA RAR ginu“ (a) KC n - 1) 为 
g(n)u"(n)K(n 一 1) = A?K(n — 1) — A K(n) (10. 106) 


其 次 ,根据 表 10.4 中 算法 的 第 -一行 AR BR a EA 
A™?Kin — 1)u(n) 





ein) = Kin — Iuin) +1 (10.107) 
两 边 蒋 以 分 母 ,经 整理 式 (10.107) 可 重 写 为 
gin) = A™K{n - Ta - (girja (Ka — 1))u(n) (10.108) 
将 式 (10.106) 代 入 式 (10.108) 并 消去 相同 项 ,可 得 卡尔 曼 增益 新 定义 为 
g(n) = AM?K(n)u(n) (10. 109) 
然后 ,由 式 (10.106) 和 式 (10.109) 消 去 g(n), 并 用 a RANER AR, RME 
K(n — 1) = AK{n)u(n)u”(n)K(^ — 1) + AK{n) (10,110) 
AAJA (Cn) AK (a -1 在 . 右 乘 式 (10.11I0) ,可 得 信息 滤波 算法 的 第 一 个 递归 表达 式 为 
K'(n) = AK (n — 1) +Aualaia (7) (10.111) 
步骤 2 出 表 104 中 算法 的 第 二 行 .第 三 行 ,分 别 有 
a(n) = y(n) 一 w(n)x{n{ 9,1) (10.112) 
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R(n + 1U) = ARa N) + ginala) (10.113) 
因此 ,将 式 (10.109) 代 人 式 (10.113) ,可 得 
Rn 十 LY = AYR, + AMPK ula att) (10.114) 
其 次 ,由 式 (10.112) 和 式 (10.114) 消 去 cf na) ,得 到 
Rn + 1|%,) = AT AK ny + AMPK (a ulay) (10.115) 
另外 ,由 式 (10.110) ,很 容易 得 到 关系 式 
AYA A Ron (n) 一 (了 (一切 (10.116) 


于 是 ,可 以 将 式 (10.115) 简 化 为 
k(n + Ly) = AKCAIK a — Tr(a 1) + AMPK (en )u(ad pln) 
FATE: 和 (az) 左 乘 等 式 两 边 ,可 得 信息 滤波 算法 的 第 二 个 递 时 表达 式 为 
Ka) + 1.%,) = APIK n — D(a] By) + ale) y(n) (10. 117) 
注意 , 式 (10.117) 给 出 的 算法 是 对 乘积 KO Cn - 1 xn 9 SEA, ait et 
行 递 归 。 
步骤 3 结合 步骤 2 的 结果 与 步 双 1 的 下 阵 求 道 , 即 得 状态 估计 更 新 值 的 计算 式 为 
fn + 1/9) = K(n)(K'(n)k(n + 1Y) 
= [KE (K a(n + 1/%,)) 
(10.111) È 10. IDAR (10. DAR TR C10. 102) ANZ C10. 103) BY Ca a AS AR M A 
息 滤波 算法 ,汇总 在 表 10.5 中 。 
$10.5 图 10.8 所 示 的 特殊 无 激励 动态 模型 信息 滤波 算法 小 结 


(10.118) 


输 人 标量 过 程 : 
观测 值 = yf1) ,x{2),… ,y(n) 

BASH: 
HER Fín+l,n}=A C'I T= 单位 阵 
测量 矩阵 Cn) =0 (n) 
MRM ln) ot =1 

初始 条 件 


让 119m = E[x(1)] 
K(1,0) = 可 fx(1) ~ £[x(1)]x(1) - E[x(1}])"] = Mo 
计算 :nm =1,2,3,'" 
其 1 = a{K Yn ~ 1) + u(aja*(a)] 
K'(n)x(n + HB) = AK {a 一 in| Yni) + u(7) y(n) | 
(n+ 1|%,) = [Kn] Kn) zn + 1/9,) 





至 此 ,我 们 介绍 了 卡尔 曼 洪波 器 的 协 方差 滤波 算法 和 信息 滤波 算法 。 虽 然 它们 在 代数 上 





是 等 价 的 , 代 这 两 个 算法 的 数位 特性 有 很 大 不 同 (Kaminski et al. ,1971)， 然 而 ,这 两 个 算法 害 
要 的 代数 运算 景 ( 即 琵 法 和 加 法 运算 其 } 相 司 ,对 于 上 商 所 计 论 的 特殊 模型 ,需要 的 运算 其 屋 
OUM) ,其 中 M 是 状态 向 量 的 维 数 ， 


10.9.3 ”发散 现象 


总 结 在 表 10.4 的 卡尔 曼 滤 滤器 的 协 方 芒 实 现 , 存 在 疾 重 的 数值 问题 ,这 已 由 许多 文献 所 
证 明 5Kaminski et al, 1971; Bierman & Thomion, 1977). 80, ARR 10.4 HiT, ERK n) 
定义 为 两 个 非 负 定 矩 阵 之 差 ; 因 此 , 除 韭 算法 每 次 选 代 中 所 用 的 数值 精度 足够 高 ,否则 ,由 以 上 
计算 得 到 的 矩阵 K(n) 就 可 能 不 是 非 负 定 的 这 种 情况 显然 是 涉 能 接受 的 ,因为 K(n) 代 表 相 
关 算 阵 。 由 有 限 字 长 运算 造成 的 数值 不 精确 导致 了 卡尔 曼 滤 波 器 的 不 稳定 ,这 种 现象 称 为 发 
散 现 象 。 
克服 发 散 现 象 的 -一 个 简单 方法 是 ,对 图 10.8 所 示 的 大 激动 动态 异型 的 (无 隐 } 过 程 方程 式 
(10.102) .人 为 地 加 上 高 斯 白 品 二。 加 性 噪声 方差 的 选取 应 吓 够 大 ,以 保证 矩阵 K(n) 对 所 有 
的 ”都 是 非 负 的 。 
10.9.4 平方 根 滤波 
克服 发 散 现 象 的 一 种 更 合适 的 方法 是 ,在 卡尔 曼 滤 波 算法 的 每 一 次 选 代 中 上 应 用 数值 上 稳 
EHIE H i Potter, 1963; Kaminski et al. , 1971; Morf & Kailath, 1975)。 特别 是 ,通过 利用 乔 利 斯 
H (Cholesky) ART, ERF K{n) 以 如 下 平方 根 的 形式 进行 传播 
K{n) = K (nA)K" (n) (10.119) 
式 中 2(n) 为 下 三 角 和 矩阵 , 攻 所 是 它 的 埃 尔 米 特 转 置 和 矩阵 。 在 线性 代数 中 , 乔 利 斯 基因 子 
K” (n ) 通 常 指 矩阵 K{n) 的 平方 根 ,因此 ,任何 基于 乔 利 斯 基 分 解 的 卡尔 曼 滤 波 算法 都 称 为 平 
方 根 滤波 。 重 要 一 点 是 ,矩阵 的 乘积 项 K” Cn)RK“(n) 不 大 可 能 是 不 定 阵 , 因 为 任何 方 阵 与 其 
埃 尔 米 特 转 置 年 阵 的 乘积 总 是 正定 的 。 事 实 上 ,即使 存在 舍 人 误差 , 乔 利 斯 基因 子 基 ”(n) 的 
数值 条 件 一 般 也 比 天 Cn) 好 得 多 (见习 题 17) : 
信息 滤波 算法 也 可 以 用 平方 根 的 形式 实现 ,这 时 , 递 推 的 是 平方 根 K n) AREER 
K`! (n) Æ$ (Kaminski et al. , 1971; Biermnan,1977)。 在 卡尔 蜡 滤 波 器 的 这 种 变形 算法 由, 弄 条 
斯 基 分 解 用 来 将 K'a) ERAN 
K` (n) = Ka)R Cn) (10.120) 


Hh K (nE FZR RRE, K BE RA RER. 


10.9.5 UD 分 解 


卡尔 最 滤波 器 的 平方 根 实现 与 传统 的 卡尔 曼 滤 波 器 相 比 ,需要 的 运算 量 较 多 。 为 提高 运 
算 效 率 , 人们 叉 提 出 了 修正 的 平方 很 滤波 算法 一 一 UD 分 解 算法 (Bierman,1977)。 在 这 种 方法 
中 ,滤波 状态 误 盖 相关 矩阵 KK(n) 被 分 解 为 主 对 角 线 元 素 为 1 A k= Ua) MEME 
Din), Bp 





Cholesky 分 解 曾 在 第 3.7 节 的 线性 预测 中 讨论 过 ， 
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Kín) = UMDU” (a) (10.121) 
于 是 ,分 解 式 可 以 写 为 
K(n) = (UDHA (U(r) DV)" (10.122) 


PD? AED ALAR. MAREA TF U(r) 和 Dla) mR Kla), MER 
证 了 K(n) MAE EE. 但 是 ,基于 UD 分 解 的 卡尔 曼 滤波 器 并 不 具有 标准 平方 根 卡尔 曼 滤 小 
器 在 数值 上 的 优势 。 而 且 , 基 于 UD 分 解 的 卡尔 闸 滤 波 吾 可 能 会 过 到 严重 的 上 洲 Coverfiow) 2 
TF (underflow) H A, 该 问题 分 别 发 生 在 当 运 算 结 果 所 产生 的 数 太 大 或 太 小 时 (Stewart & 
Chapman, 1990). 

SAE , SSR A ee ROE ATER AER EAA RAKE 
太 高 ,不 便 手 计算 的 观点 。 因 还 ,为 避免 卡尔 曼 滤 波 器 出 现 发 散 现 象 , 本 书 将 对 平方 根 滤波 进 
行 详细 的 讨论 ( 见 第 11 章 )。 


10.10 广义 卡尔 曼 滤 波 器 


前 面 讨论 的 卡尔 曼 清 波 问 题 ,者 是 针对 动态 系统 线性 横 型 中 状态 向 量 估计 的 。 如 果 模 型 
是 非 线 性 的 ,我 们 可 以 通过 线性 化 来 扩展 卡尔 曼 滤 波 咒 的 应 用 ,这 样 得 到 的 滤波 器 称 为 |” 义 卡 
JR Sb ite BE aS (EKF: extended Kalman filter)。 这 种 扩展 可 以 通过 卡尔 曼 滤 波 器 的 微分 方程 (对 连 
续 时 间 系 统 ) 或 差分 方程 (对 离散 时 间 系 统 ) 来 实现 。 与 维 纳 渡 波 咒 不同 , 维 纳 滤波 髓 仅 限于 线 
性 系统 ,因为 表示 维 纳 滤 波 器 的 脉 神 响应 只 对 线性 系统 有 意义 。 这 是 卡尔 曼 滤 波 器 优 于 维 纳 
滤波 器 的 又 一 个 重要 优点 了 。 

为 了 替 离 散 时 间 城 广义 卡尔 曼 滤 波 器 的 研究 提供 一 个 舞台 ,首先 考虑 本 章 前 面部 分 讨论 
过 的 标准 线性 状态 空间 模型 [ 式 (10.17) 和 式 (10.19) ]。 为 方便 表示 起 见 ,将 其 重 写 如 下 

x(a + 1) = F{n 1, njx(n) 十 IT (10.123) 


(2) = C()x(m) + vatn) (10. 124) 


其 中 ,y(n) 和 y(n) 是 分 别 具 有 相关 和 矩阵 Q tn) 和 他 (aa) 旦 互 不 相关 的 警 均 值 蝗 几 声 过 程 ， 
如 式 (10.18)、 式 (10.20) 和 式 (10.21) 所 定义 。 相 应 的 卡尔 曼 滤 波 器 方程 在 表 10.2 中 归纳 。 但 
是 在 本 节 中 ,我 们 将 以 一 种 略微 不 同 的 形式 重 写 这 些 方 程 , 使 其 更 方便 于 这 里 的 讨论 。 具 体 来 
说 ,我 们 将 用 两 步 完 成 状态 估计 的 更 新 。 第 一 步 ,将 x(n1 了 9, BR (n+ 11 电 。), 更 新 方程 
就 是 式 (10.58)。 第 二 步 ,将 xn 四， ) 更 新 为 x(n1 外 。) ,该 结果 通过 将 式 (10.45) 代 人 式 
(10. 纺 ) 并 定义 一 个 新 的 增益 失 阵 

Gan) = F(a + 1, a}G(a) (10.125) 


而 获得 。 于 是 ,我 们 可 写 出 


D ARE See eR ET, FO CER PA EREE a SE Ae e e E t9 
52)) 2K) Hah Ta 2 a JD H a eB EE SE I HE J Lewis ( 1986) 和 Mendel 
(1995) Ja 
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x(n +1 ES = Fín + 1, ni(n EA (10.126) 
i(n U) = ifn, W) + G, (njela) (10.127) 
a(n) = y(n} — C(n)k(n|%,-1) (10. 128) 
Gin) = K(n, a ~ 1)C*%(n)[Cln)K(n. n ~ 1)C8 (Hn) + Qn)] (10.129) 
Kín + 1,2) = Fin + 1, ”)K(n)F@(n + 1.2) + Qia) (10. 130) 
及 

K(x) = [GramC( Km, an ~ 1) (10.131) 

其 次 ,我们 向 如 下 实验 ;假设 用 如 下 状态 空间 模型 
x(a + 1) = Fn + 1,n)x(n) + v(a) + dfx) (10.132) 
y(n) = Cln)x() + von) (10.433) 


来 代替 状态 方程 式 (10.123) 和 和 式 (10.124), 式 中 dtn) 是 已 记 的 ( 即 非 随机 的 ) 向 量 。 在 这 种 情 
况 下 ,很 容易 证 明 式 (10.127) ~ 式 (10.131) 仍 然 成 立 , 只 是 式 (10.126) 稍 有 不 同 ,修改 为 

x(a + 1/%,} = FL n+ 1,7) žin (Y + d(x) (10.134) 
PE BCH Lh BE ER RR ES a ETT 8) 

TE RA eH A ES EP EP ET FREE E 
想 推广 到 非 线性 状态 空间 模型 (Jazwinski, 1970; Maybeck , 1982; Ljung & Södersnöm, 1983)。 特 别 
Cannan es ee aus any 

at 1) = Fa, x(n)) + wi{n) (10.135) 

y(n) = C(n,x(n)) + mafm) (10. 136) 

如 前 所 述 , mn) 和 n(n RE ARES Q Cn 和 他 (mn) 且 互 不 相关 的 零 均 值 日 品 

声 过 程 。 但 在 这 里 ,F(n ,xfn))} 表 示 非 线性 转移 插 阵 函数 且 可 能 是 时 变 的 。 在 线性 情况 下 ,有 
Fln, x(n)) = Fin + 1, 2)x(n) 

在 一 般 的 非 线性 环境 中 ,状态 x(n) BAA BT ot OFC x(n) HE ETT EE 

合 。 而且, 这 种 非 线 性 运算 可 能 是 时 变 的 。 同 样 地 ,函数 COn x(n) AP EREN RE, E 


也 可 能 是 时 变 的 。 
作为 一 个 例子 ,考虑 如 下 的 二 维 非 线性 状态 空间 异型 


ee + | - | x(n) + x4(n) | N KA 
wn tA) axtn) — xln)x2(n) na(n), 
y(n} = x (ajxs() + nin) 
在 这 个 例子 中 
Rn + on) ] 
F(x, x(n) | -Rn 
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Cin, x{n}) = xi{n) ritn) 
广义 卡尔 曼 滤波 叶 的 基本 思想 是 ,在 最 近 一 次 状态 估计 的 每 一 时 刻 , 对 式 (10.135) 和 
式 (10,136}) 的 状态 空间 模型 进行 线性 化 处 理 。 取 决 于 所 考虑 的 是 特殊 功能 ,处理 结果 可 取 为 
x(nl%, ae x(nlY,.), 一 旦 得 到 线性 模型 ,就 可 以 应 用 标准 卡尔 睫 滤 波 上 散 方程 。 
更 有 具体 地 说 ,这 个 近似 可 分 两 步 进行 。 
步骤 1 梅 造 如 下 两 个 矩阵 





Rai aF (x, x) 
ý TTO g heia) (10.137) 
和 
Cin) = dC(n, x) 
u= dx [xskin|4,_1) (10.138) 





也 就 是 说 ,F(n +1,n) 中 第 i 行 第 j 列 元 素 等 于 F(n,x) 的 第 iE x HA RRS 
数 。 同 样 地 ,CCn}) 中 第 i Bj PLR ESF Cin x) MA iDEN x 的 第 /元 案 的 偏 导 数 。 
AAH x(n IY, AASR MEEN nY, A, M E +1,n) 和 Cn) 的 元 素 均 为 
已 知 ( 妈 可 计算 ) 的 ,因为 x(n1 包 ,) 和 x(n1 和 1) 都 可 得 到 ,如 后 面 所 述 。 

将 式 (10,137} 和 式 (10.138) 的 定 ¢ 多 用 于 上 面 的 例题 ,我 们 得 到 


aF(n, x) = | 1 ad 
ox n-i 一 此 1 





和 
Ms: gs 
于 是 可 得 
Fin + 1,#) = p z sya Bar 
和 


Ct{n) = EAG | Yai) 24 (n | a, in | %,,-1)| 


步骤 2 — ARH EE F( n+ 1,2) Cn), RAW KET ERE RK F(x x(n) 
Clin,x(n)) 的 一 次 泰勒 展开 式 中 。 M Eln, n) A Cin, x(n) PRE x(n IY 
xfailg。， ) 插 近 进 行 泰 勒 展开 ,可 近似 为 


Fln, x(n)) = Fln, fn|Y,)) + Fn + 1, afin) — (nl Y) (10.139) 

各 
C(n, x(n)) = C(n, Kn) Ys) + Ce) x(n) ~ 站 多- (10.140) 
有 了 上 面 的 近似 表达 式 ,我 们 现在 可 以 对 式 (10.135) 和 式 (10.136) 的 非 线性 状态 方程 进 
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行 近似 ,结果 分 别 是 


x(a + 1) = Fin + l, n)xlan} + vn) + dín) (10.141) 
和 
y(n) = Cn}x(n) + min) (10.142) 
这 里 ,我们 引入 了 两 个 新 的 其 
y(n) = yin) = [Cfa (al) — Cm) ,1)] (10.143) 
和 
d(x) = F(n, %(12|Y,)) — Fn + 1, 2)%(a|%,) (10. 144) 


y(n) PABA TORE n 时 刻 是 已 知 的 ,因此 ,y(n) 可 以 看 做 n 时 刻 的 观测 向 量 。 同 样 ,d(n) 
中 的 所 有 元 素 在 n 时 刻 也 是 已 知 的 。 在 线性 情 沉 下 ,y(n) =y(n) Al d(n) =0。 

式 (10.141) 和 式 (10.142) 的 近似 状态 空间 模型 是 一 个 线性 模型 , 它 与 起 (10.132) 和 式 
《10.133) 表 示 的 模型 具有 相同 的 数学 形式 。 事 实 上 ,先前 我 们 将 状态 空间 模型 用 后 两 个 方程 
来 表示 , 正 是 出 于 这 一 考虑 。 将 标准 卡尔 曼 方 程 (10.127) 到 式 (10.133) 以 及 式 (10,134) 应 用 于 
前 面 所 述 的 线性 化 模型 ,就 是 ” 义 卡尔 曼 滤 波 器 方程 。 这 导致 如 下 一 组 方程 

x(n + LY,) = Efa + 1,n)¥(n| Y) + diz) 
= F(a + 1, 2)x(n|%,) + [Fln, k(n | Y,)) — Fin + 1, nifa] Y] (10.145) 
= Fln, {ni Y) 
(a| Yn) = (n| Ypi) + G/(n)a(r) 
a(n) = Jin) — C(n)x(n|¥,_1) 
= y(n) — Cla, i(n Yi) + Cila Ya) — C(n) x(n |%,_1) 
= y(n) — Cln, Kn | Yi)) 

ARTE R10. 145) Ash (10.146), BY AEE SR AS eR a PO A a A 

号 流 图 ,如 图 10.9 所 示 。 


(10.146) 


可 观测 (数据 ) 站 fm + 1I%,) 
y) s, À 





图 10.9 FRESE Ne RS 


# 10.6 GH LERSRRAE HS, Hit, PDA ASR (10. 137) FL (10. 138) FREE 
自 的 非 线性 矩阵 计算 线性 化 矩阵 Fin +1,n) 和 C(n)。 因 此 ,如 果 给 定 一 个 用 式 {10.135) 和 式 
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{10.136) 描 述 的 非 线性 状态 空间 模型 ,就 可 以 利用 该 算法 递归 计算 出 状态 估计 。 将 这 里 总 结 
的 广义 卡尔 芭 滤 波 器 方程 与 式 (10.126) ~ 式 (10.131) 给 出 的 标准 卡尔 曼 滤波 器 方程 相 比 较 ， 
可 以 看 出 它们 之 癌 的 惟一 不 同 就 是 新 息 向 量 en ET EE x(n +11 外 , ) 的 更 新 计算 。 
具体 来 说 ,标准 卡尔 紧 滤 波 器 的 线性 项 FUn+ 1 x(n YOA COndx( nl, EP MERE 
滤波 器 中 分 别 被 近似 项 F(n x(n IY, )) A COn, x(n Y, DARE, KE 10.4 所 示 标 准 卡 
尔 曼 滤波 器 的 一 步 预 测 信 号 流 图 与 图 10.9 所 示 广 关卡 尔 曲 读 波 器 的 一 步 预 测 信 和 号 流风 相 比 
较 , 也 可 以 大 出 它们 之 间 的 这 些 不 同 点 。 
#106 [XERERREDS 
输入 向 量 过 程 : 
现 测 值 = yO ,Yt2),… ,Yn)| 
已 知 参数 ; 
SPER MEARS GR = F(n ,zx(n)) 
IRTEN REPRE = CC x(n)) 
过 程 噪声 问 量 的 相关 矩阵 =Q Ce) 
HR) A = Qir) 
计算 :n=1,2,3,"… 
Grin) = K(a,n — 1C (2) [CO K(n, a — Cn) + Qn)] 
a(n) = y(n) ~ C(n, r|% ,)) 
kial = 8(m|%, 1) + Green 
k(t + 1|%,} = Fla, x(a] 4,)) 
Kin) = [I ~ G,(a)C(a)|K(a, n- 1) 
Kin + 1,n) = F(a + AKA E" {n + ln} + Qin) 
济 : 线 忻 化 年 阵 Fin + 1, aO A Cinta MAAA. 157) Ae (10.138), ed HAA RE Fin, xina) A 
Cla x(a EE. 
PARE: 
x{1|%,) = F[x(1)] 
K(1,9) = E[(x(1) - £[x(1) x1) — Ela] = Th 


10.11 本 章 小 结 


卡尔 曼 滤波 器 是 具有 递归 结构 的 有 限 维 线性 离散 时 间 系统 ,很 适合 用 数字 计算 机 实现 。 
卡尔 曼 滤 波 器 的 一 个 关键 特性 是 :卡尔 曼 滤波 器 是 从 随机 状态 空间 模型 导出 的 线性 动态 系统 
状态 的 最 小 均 方 (方差 ) 估 计 。 
在 源 于 确定 性 最 小 二 乘 估计 的 线性 自 适应 滤波 算法 族 中 ,卡尔 曼 滤波 器 理论 具有 极其 重 
要 的 理论 意义 和 实际 意义 ,这 基于 下 面 疯 个 原因 : 
1) 由 取 值 范围 为 0< Acc 的 指数 加 权 因 子 A 表征 的 递归 最 小 平方 (RLS) 滤 波 器 基本 动态 
特性 用 图 10.8 的 无 激励 动态 模型 来 描述 。 这 个 模型 为 建立 卡尔 曼 变量 和 RIS 变量 之 
间 的 对 应 关系 提供 了 基础 。 这 些 关系 归纳 在 表 10.3 中 ,而 且 该 表 是 在 详细 比较 表 
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10.2 的 卡尔 曼 滤 波 算 法 和 表 7.1 的 RLS 滤波 算法 基础 上 给 出 的 。 
2) 卡尔 曼 恋 滤器 的 文献 资料 非常 丰 窗 。 因 此 ,我 们 可 以 利用 这 些 文 献 导 出 RLS Be ae 
变形 算法 , 即 平方 根 RLS 滤波 器 利 阶 递归 RLS BeBe aS, IE RS 11 章 和 第 12 章 将 分 别 
证 明 的 。 虽 然 这 些 算法 为 人 们 所 了 解 已 有 很 长 时 间 , 但 正 是 在 卡尔 曼 泪 滤器 理论 中 ， 
大 们 才 有 了 以 统一 方式 对 它们 进行 推导 的 数 尝 基础. 
大 量 的 评论 认为 ,信号 处 囊 和 控制 理论 中 的 许多 问题 在 数学 上 是 等 效 的 。 而 据 我 们 所 知 ， 
卡尔 曼 滤 波 器 理论 源 于 控制 文献 ,本 竟 依 立 的 卡尔 友 滤波 器 与 线性 白 适 应 站 波 肯 之 间 的 联系 
进一步 贴切 地 说 明了 这 种 “数学 等 价 性 "的 合理 性 。 


10.12 习题 


1. Gram-Schmidt 正 交 化 过 程 ,可 以 将 一 组 疯 测 向 且 y(1),y(2),…,y(n) 变 换 为 一 组 新 息 过 程 
a(l) ,2) na) ,而 不 会 损失 任何 信息 ,及 之 亦 然 。 试 对 n=2 的 情况 说 明 这 个 过 程 ， 
并 就 n >2 的 情况 对 该 过 程 发 表意 见 ，。 

2. PAA URE Ih] BE SON 

elan — 1) = x(n) 一 车 | 型 
FO KC IW, 1 HE ae eT [由 观测 数据 ye - 1) AA RS x(n) 的 
最 小 均 方 估计 。 令 (DA vy m PURER RAM RRP e o H uE H 
e(n,n—-1)45 v,(n) Al vi n) BIE, BILE 
Ele(nn ~- Lvi(n)| = 0 
和 
Ele(n,n — 1)v#(n)| = 0 

3. 考虑 一 组 零 均 值 的 标量 观测 数据 y(n), 现 将 它们 变换 为 一 组 均值 为 零 、 方 差 为 o n) 

息 ul(n)。 给 定 这 组 数据 ,将 状态 向 量 x( 让 的 信 计 表示 为 
|) = È bkjalk) 
Apy, 是 由 y(1),… ,y(n) 生 成 的 空间 ,而 b (六 ,=1,2,…,n 是 一 组 待定 向 量 。 要 求 是 


选择 b, Ck) ,使 得 居 计 状态 误差 向 量 
e(i|%,) = a(i) — &(é|%,) 


范 数 平方 的 期 望 值 最 小 。 试 证 明 该 最 小 化 得 到 结果 
x{i|Y,} = > Elxtiyp*(k) ok) 


其 中 
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是 归 一 化 新 息 。 该 结果 站 以 看 做 式 (10.37) 和 式 (10.49) 的 特 听 情 况 。 
. 式 (10.49) 定 义 的 卡尔 曼 增益 Gn) AL Rn). Æ R{n} 本 身 由 式 (10.35) 定 
St, Rp 

R(x) = Cin)K{n, n — 10% (a) + Qoln) 


ABR CCn SESE 10 ERE (BOR REE BF SFE o 
(a) 为 什么 Ren ETE EH? 
(b) aT PRUE RO Cn) FFE ATR Q Co TIT ERR? 
, EPERRA TF, HERRE n FPO RR ASTRA Kin + 1.m) 收 总 于 稳 态 
fH 下。 证 明 极限 值 及 满足 Riceati 代数 方程 
KC*(CKC” + QT CK — Q = 0 


Kp SUE R ORS Se SF PE, HEE CQ AQ, 分 别 是 Cn). (AO) K 
极限 值 。 
, 某 二 阶 跟踪 系统 的 状态 空间 方程 为 


%[ 十 二 = | E hcn) + vi{n) 


yin) = :1, Ostm) + n(n) 


过 程 噪声 v,(n) 是 均值 为 零 TAS TR GRE. A, RS vy,(n) 是 均 

值 为 零 .方差 为 ] 的 白 品 声 。 

(a) 利用 表 10.2, 用 公式 表示 计算 卡尔 曼 滤 波 器 的 递归 过 程 。 

(b) 假定 可 以 应 用 习题 5 中 给 出 的 Riccati 代数 方程 ,计算 满足 该 方程 的 矩阵 K; Jh te 
定 相 应 的 卡尔 曼 增 益 。 

. 在 本 题 中 ,考虑 由 如 下 差分 方程 


M N 
y(n} + 2, cele) y(n -k}= mr) rt — k) + vin} 


描述 的 时 变 实 值 ARMA 过 程 yin) 的 一 般 情 帝 ,其 中 aln), ala), ayn), ay. Cn), 
aylan)... apn n) È ARMA 系数 ,过 程 y(n) 为 其 输入 ,过 程 y(n) 为 其 输出 。 过 程 
y(n) 是 均值 为 零 .方差 为 a? 的 高 斯 白 噪声 过 程 。ARMA 系数 随机 波动 ,可 用 模型 表示 为 
a(n+1)=a(n)+ win) k=l. MHN 
其 中 w, {nn) 是 均值 为 零 的 高 斯 白 噪声 过 程 , 且 与 wy (a) ek) ME vn) HB 
立 。 我们 感 兴 趣 的 问题 是 找到 一 种 基于 卡尔 曼 滤 波 器 的 方法 以 辨识 ARMA 过 程 的 系数 。 
为 此 ,定义 一 个 { 隆 + AEREE 
x(n) = [aa -s antn) awata) 
并 定义 测量 矩阵 (实际 上 是 行 向 量 ) 
Cia) = [-y(n - 1). rn — M) vn — Del — N)] 


以 此 为 基础 ,完成 下 列 工 作 : 
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(a) 给 出 ARMA 过 程 的 状态 空间 方程 。 
(b) 在 给 定 观 测 值 y(n) 的 情况 下 , 找 出 一 种 计算 状态 向 量 xn + 1) 预 测 值 的 算法 。 
(c) 怎样 对 {(b) 中 的 算法 进行 初始 化 ? 
(d) 本 是 中 用 色 的 卡尔 占 滤 波 器 不 是 最 优 的 。 为 什么 ? 
8. 考虑 某 通 信 信 道 建 模 为 个 已 知 脉冲 响应 的 FIR 滤波 瞧 。 人 和 传道 的 输出 定义 为 


y(n) = hixtn) + n(n) 


其 中 ,h 是 表示 信道 脉冲 响应 的 Mx LPR. x(n) de M xi E, Ra A Sal 
值 utr) 以 及 前 面 的 章 - 1 个 数值 ,mn) 是 均值 为 零 .方差 为 o2 的 高 斯 白 噪声 过 程 。 在 n 
时 刻 ,信道 输 和 人 wun) 是 由 0 和 1 组 成 的 二 进 制 码 流 , 且 与 vtn%) 统 计 独 立 。 该 模型 暗示 ,我 
们 可 以 将 x(n) 看 敌 状 态 向 量 。 在 这 种 情况 下 ,状态 方程 可 瑟 为 
xin + 1} — Axin) + by, fn) 
其 中 vn) 是 均值 为 零 ,方差 为 el 的 高 斯 口 噪 声 过 程 , 且 与 n HR hae. Ade MxM 
矩阵 ,其 第 i 行 、 第 j 列 元 素 为 
1 i=j+1 
"lo i 


bEMx1 向量, 其 第 i 个 元 素 为 


O :=2,...,M 


现在 的 问题 是 :给 定 前 述 的 信道 模型 和 信道 输出 端 噪声 测量 的 序列 y(n) ,利用 卡尔 曼 滤 波 
器 构造 一 个 均衡 器 ,以 便 在 一 段 时 延 (n + D)( 其 中 0< Ds MH~1) 后 得 到 信道 输入 u(n) 的 
一 个 良好 佑 值 。 试 证 明 这 样 构造 的 均衡 器 是 一 个 R 滤波 器 ,其 系数 由 两 组 不 同 的 参数 确 
定 :(a) 用 x1 信道 脉冲 响应 向 量 ;(b) 卡 尔 曼 增益 ,此 是 中 它 是 一 个 x 1 向 量 。 
9. 利用 式 (10.71) 和 式 (10.72) 给 出 的 初始 条 件 , 证 明 由 卡尔 曼 滤 波 器 得 到 的 滤波 估计 
x(nl 包 ,) 是 无 偏 的 , 即 证 明 
E[&(n)|M(n)] = x(n) 


10. 第 10.4 节 介绍 的 卡尔 曼 滤 波 器 是 基于 最 小 均 方 误差 估计 导 出 的 。 本 题 中 ,我 们 研究 另 一 
种 推导 卡尔 坚 滤 波 器 的 方法 , 即 基于 最 大 后 验 概率 (MAP, maximum a posteriori probability ) 
准则 的 推导 。 推 导 中 ,假设 过 程 噪声 n (M ARS y,(n) 此 为 零 均值 的 高 斯 过 程 ,其 
相关 矩阵 分 别 是 Qn) 和 %(n)。 用 和 (x(n) 1 包 ,) 表 示 在 给 定 电 ,[ 表 示 观 测 值 ¥(1),…， 
y(n) 的 集合 ] 条 件 下 xn) 的 条 件 概率 密度 函数 (pdf)。 用 xwr(n) 表 示 x(n) 的 MAP 估计， 
定义 为 使 (x(n)1 包 ,) 或 其 对 数 取 最 大 值 时 x(n) 的 特殊 值 。 这 项 计算 要 求 对 于 如 下 条 
件 


aln fy(x(7)|%,) 
ax( rt} zin) imapin) 


=0 (1) 


求解 方程 ,而 且 证 明 
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ain fy(x(n)|Y,) 
62xfm] tin) =Ryrae(e) 





<0 (2) 


(a) 利用 贝 叶 斯 (Bayes) 准 出 ,将 (x(n)1 包 ,) 表 示 为 

,9 
Fr) 

WRAAE EE RARE, REI ARRA 


frrlx(n), yin) Ya- ) 
Frly(7),9,-1} 


Fair Ya) 


Fixin) Ya) = 


由 此 证 明 
Fiyin xinh ealn) Ya-1) 
Frin) Wai) 
(b) PARIERS v (n) PME w Cn) ARE, eH fy (y(n) x(n) A (x(n)! 
Y ORRERA. BR, AA ayay RE x(n) 无 关 , 故 可 看 做 常数 。 试 给 
iH fy alan) Y, RER. 
(c) 将 (b) 的 结果 代 人 式 (1) AER BE E, Fh Kwe(n) 的 表达 式 ,并 证 明 它 与 第 
10.4 PSH KP SRR RIAA. 
(d) 利用 式 (2) ,证 明 (e) 中 得 到 的 MAP 估计 xue(n) 确 实 满足 该 式 。 
1. 考虑 一 个 由 无 噪声 状态 空间 模型 


fy (x(n)|%,) = 


x(n + 1) = Fx(n) 
yín) = Cx(n) 
描述 的 线性 动态 系统 ,其 中 x(n) 是 状态 ,y(n) 是 观测 值 ,F RIE, C 是 测量 矩阵 。 
(a) 证 明 
a(n) = FA ~ G(n)C)K(n}Y,-1) + CG(n)y(n) 
a(n) = y(n) — C(n|Y,-1) 
其 中 G(n) 是 卡尔 曼 增 益 ,ge( mn) 表示 新 息 。 试 问 G(m) 如 何 定义 ? 
(b) 根据 (a) 中 的 结果 ,证 明 卡 尔 曼 滤波 器 是 白化 滤波 器 ,因为 它 产生 响应 y(n) 的 “白色 ” 
估计 误差。 ; - 

12. $ KK,(n) 表 示 状 态 误差 向 量 x(n) x(n YAR A y(n) - y(n 9, ZH 
的 互相 关 和 矩阵 。 令 KK,,(n) 表 示 测 量 误差 向 量 y(n) -y(n19,-1) 的 相关 矩阵。 证 明 式 
(10.125) 中 的 修正 卡尔 曼 增益 Gr(=) 可 用 这 两 个 相关 和 矩阵 定义 为 

G,(n) = sr 


13. 本 题 中 ,我 们 探讨 建立 表 10.3 中 所 介绍 的 某 些 对 应 关系 的 另 一 种 过 程 。 
(a) 从 图 10.7 的 多 重 回归 模型 出 发 ,建立 由 RLS 滤波 器 的 输入 向 量 ai) 定义 期 望 响 应 
(i) ,i 一 0,1,… ,nn 的 线性 方程 组 。 
(b) 从 图 10.8 的 无 激励 动态 模型 出 发 ,建立 由 卡尔 曼 滤 波 吾 的 状态 向 量 x( 让 定义 观测 值 
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18. 





yt i) + i =, l U’ TE 的 线性 方程 组 。 
Cc) 利用 (a) 和 (b) 中 的 结果 ,导出 下 列 RIS 滤波 器 利 卡 尔 电 滤波 器 之 间 的 等 式 
x(0} = w, 
yia) = A 全 全) 


p(n) = A egin) 


. RES 滤波 器 的 过 程 方程 (10.102) 将 状态 的 演变 描述 为 


x(n +1) =A) °xfn) 


其 中 指数 加 权 因 子 A SEA O< Al, A <1 DARA x(a) AERA n 
无 限 增长 。 然 而 实际 上 RLS Bed abe 17 PIER AT DG BE SS, AT A? 


. 表 10.3 的 最 后 两 项 是 卡尔 曼 变量 和 RLS 变量 之 间 初 始 条 件 的 对 应 关系 。 请 证 明之 。 
. 在 UD 分解 算 法 中 ,滤波 状态 误差 相关 年 阵 表 示 为 


Kin) = OAD n) 


其 中 Un) EW HAIR A BEARD nr). SAA A a 
E KK(n) 的 最 大 和 最 小 特征 值 。 试 证 明 对 角 阵 Din) 的 条 件数 由 下 式 控制 
x(D) > 2 = XI 


min 


A&C K) RARER RE RE K(n) 的 条 件数 ,定义 为 最 大 特征 值 a RE 


4m 之 比试 证 明 
x(K) = (x(K! 
其 中 K’ (n) dE KK(n) 的 平方 根 。 该 关系 式 意 昧 着 和 什么 ? 
考 虚 式 (10.132) 和 式 (10.133) 表 示 的 状态 空间 模型 。 证 明 该 模型 中 状态 向 量 的 一 步 预 济 
x(n+ 1| 包 ,由 式 (10.134) 给 出 。 





第 1 登 ”平方根 自 适应 滤波 器 


使 用 第 9 章 的 RIS 算法 时 所 遇 到 的 一 个 问题 就 是 数值 不 稳定 性 ;这 是 因为 采用 了 Riceati 
差分 方程 造成 的 。 在 经 典 卡 尔 曼 滤波 算法 中 ,由 于 相同 的 原因 ,也 会 出 现 这 样 的 问题 。 第 10 
章 已 经 指出 ,卡尔 巡 滤 波 器 中 的 不 稳定 性 (发散) 问题 可 采用 其 平方 根 变形 来 改善 。 在 该 处 讨 
论 中 ,由 于 还 不 需要 用 到 平方 很 卡尔 曼 滤 波 , 我 们 没有 对 它 进行 详细 的 讨论 。 本 章 从 下 一 节 开 
始 ,将 对 它 进行 全 面 的 讨论 。 由 干 卡尔 曼 变 量 和 前 一 章 建 立 的 RIS 变量 之 癌 存 在 着 一 一 对 应 
关系 ,平方 根 卡尔 曼 滤波 问题 的 解 为 得 出 相应 的 平方 根 RLS 算法 提供 了 条 件 。 


11.1 平方 根 卡 尔 有 滤波 器 


卡尔 曼 滤 波 器 中 协 方 差 类 型 的 递归 形式 传递 答 阵 Kn), RRA RAMA F 
误 状 的 自 相 关 第 阵 ; 该 传递 方式 通过 Rem 差分 方程 来 实现 。 另 一 方面 ,平方 根 卡尔 最 滤波 
器 中 的 递归 形式 传递 一 个 由 Kin) 定 义 的 平方 根 下 三 角 阵 Kn)。K(n) 与 KE”(n) 之 间 的 关 
系 定义 如 下 
K(n} = Kn KA(n) GILI) 
其 中 ,上 三 角 阵 K” n) A K RRX ERE, KROTERERSRRS POT, 相 
关 和 矩阵 K(n) MER EEE EEE SO KR BR BEES 
阵 的 性 能 而 保持 的 。 
在 本 节 中 ,我 们 将 推导 出 卡尔 曼 滤 波 器 协 方差 以 及 信息 实现 的 平方 根 形式 。 然 而 ,考虑 到 
算法 的 变形 ,我们 把 注意 力 集中 于 第 10.8 节 给 出 的 特殊 无 激励 动态 模型 。 在 该 模型 中 ,有 
x(n + 1) = AiAx(n) (11.2) 
和 
y(n} = (EC + x(n) (11.3) 
其 中 xfa) 为 状态 向 量 , 行 向 量 Ww (n) 为 测量 矩阵 ,标量 y(n) 为 观测 或 参考 信号 ,标量 vn) 
SAE .方差 为 1 的 白 曲 声 序列 , 正 实 数 标量 A 为 该 模 型 的 一 个 常数 。 式 (11.2) 和 式 {11.3) 
分 别 与 式 (10.102) 和 式 (10.103) 相 同 , 这 里 再 次 窟 出 是 为 了 表示 方便 。 在 继续 平方 根 卡 尔 曼 
滤波 器 的 推导 之 前 , 先 来 考虑 一 个 对 我 们 现在 的 讨论 非常 关键 的 矩阵 代数 学 引 理 。 


11.1.1 矩阵 分 解 引 理 


RAEI N x MM RER AA B, EF NaM, ERATA ERI ih (Stewart, 
1973; Golub & Van Loan, 1996; Sayed & Kailath, 1994) 
AA” = BR? 1.4 


当 且 仅 当 存在 下 面 的 归 一 年 阵 @ 使 得 
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B= AG (11.5) 
成 立 。 容 易 发 现 
BB’ = AQO”A” (11.6) 
HAO- ERREX, A 
00” =I (11.7) 


其 中 工 为 单位 阵 。 因 此, 式 (11.6) 立 即 简化 为 式 【11.4)。 . 
相反 , 式 (11.4) 中 找 述 的 等 同性 表明 和 矩阵 A 和 B 必定 有 某 种 关系 。 我 们 可 以 采用 单一 值 分 
解 定理 ,来 证 明和 矩阵 因子 分 解 定理 的 逆 命 题 的 省 义 。 这 样 , 矩 阵 入 可 以 分 解 为 ( 见 第 8.11 节 ) 
A = UsE4VA (11.8) 
其 中 U AV, Sy Nx NAM x MBEE, >, 为 由 矩阵 入 定义 的 Nx ME, SBA, 
第 二 个 矩阵 B 可 分 解 为 


B = Us ÈV} (11.9) 
恒等式 AA” = BB” 意味 着 我 们 有 
Ua = Us (11.10) 
和 
EA = Zp (11.11) 
现在 , 令 
@=V,VE (11,12) 


利用 式 (11.8) 和 式 (11.12) 来 求 矩阵 乘积 &A@; 根 据 式 (11.9) ~ 式 (11.11) ,我 们 得 到 了 B。 这 一 结 
果 准 确 地 表达 了 矩阵 分 解 定理 的 道 命题 含 闵 。 


11.1.2 平方 根 协 方差 滤波 器 


现在 回 到 平方 根 卡尔 曼 让 波 问 题 ,注意 到 协 方差 卡尔 曼 滤 波 器 的 Riecati 差分 方程 可 以 表 
未 为 (通过 表 10.4 中 第 一 行 和 最 后 一 行 算法 的 结合 ) 


K(n) = AK(n — 1) — A'K(n — an) (nu (n)K(n — 1) (11.13) 
标量 r(n) AUTRE TS BE 
r(n) = wi(n)K(2 一 1)ufa + 1 (11.14) 
FRSA RT Riccati 方程 411.13) 右 边 的 项 : 
o in: ur(n}Ktn — t)u(n) + 1 
®1xM HA: Ao nl K(n — 1) 
eMx1 he: A ™K(n 一 1)u(n) 
oMxM de: ATK(# — 1) 


考虑 到 这 四 项 维 数 的 兼容 性 ,可 采用 包含 K(m) 全 部 信息 的 块 矩 阵 来 排列 这 四 项 : 
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OK lan) +1 Aan) Kon — 1) 
Hins Ey 一 Lyuter} A'K(n — 1) | (11.15) 
HBB KC rn -1) 用 其 分 解 的 形式 表示 ,有 
K(n — 1) = Kn — D)K””{n -1) (11.16) 


A SE En) AIEA MERE, RAITH Cholesky 分 解 来 表示 式 (11.15) 为 


1 uř{n)K {n - 1 1 g 
H(z) = i ere =) 中 legit — u(r) AKH? {n — i (11.17) 
其 中 0 表示 零 向 量 ， 
式 (14.17) 右 边 的 矩阵 丧 积 可 以 理解 为 矩阵 A 与 其 埃 尔 米 特 转 置 矩阵 A* RE, UR 
为 采用 和 矩阵 分 解 引 理 创造 了 条 件 ,根据 这 个 引 理 ,可 以 写 出 
F uf(n)K' (n 一 D lom = Pe a | 
0 AK Pen — 1) b(n) — (n) (31.18) 


一 


A 

这 里 ,人 @(n) 为 西 旋转 (unitary rotation) ,标量 b(a) eE b, (n) AEE B, (2) RAE BPR 
非 零 块 元 素 。 在 式 (11.18) 中 ,我 们 可 以 区 分 两 种 阵列 : 

© 前 阵列 (prearray)A, 它 进行 酉 旋转 运算 ; 

© 后 阵列 (postarray}B, 它 用 丁 旋 转 而 引起 的 零 块 (block zero entry) 来 表征 。 因 此 后 阵列 具 

有 块 意义 上 的 “三 角形 "结构 。 

为 了 计算 后 阵列 的 未 知 的 块 元 素 bab A BB ,我 们 将 式 (11.18) 的 两 边 取 平方 。 则 容易 

Sit O(n) ABA, MITA ,全 (nn)@" (rn) 等 于 单位 阵 , 于 是 可 以 写 出 


f uf (n) K {n 一 a | 1 (7 ] 
0 AWK’ 一 1) K??(n 一 1 ATAK {n — 1) 











A AF 
{11.19} 
£ oe 0 j eae eae 
Lbzi{7) B,,(#) t By, (7) 
B Bs 

将 矩阵 的 飞 积 展开 ,然后 比较 式 (11.19) 两 边 各 自 的 项 ,可 以 得 到 下 面 三 个 等 式 
bn = ui(n)K(n — 1)u(m) + 1 = rn) (11.20) 
b, (6% = AUP K(n — Duta) (11.21) 
b COW a) + Bom) Bin) = A KG — 1) {11.22} 

为 了 满足 式 (11.20) ~ 式 {111.22) ,必须 满足 如 下 条 件 

baln) =r P(N) (11.23) 
byi(n) = AIR — Tula)? (n) = giar? (n) (11.24) 
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Bin) = k'?(n) (11.25) 


其 中 第 二 行 的 gin) RREFEREW, HELER 10.4 的 第 一 步 计 算 中 给 出 。 
因此 ,我 们 可 将 式 (11.18) 重 新 写 为 


] “iKa 一 L) _ rt) oF 
Lo een OO = | gine Kn, €11.26) 
式 (11.26) 中 前 后 阵列 中 的 决 元 素 值 得 进行 仔细 研究 ,因为 它们 揭示 了 各 自 的 特性 ; 

o 前 阵列 中 的 抉 元素 AK? (n — 1) Bl wn) Kn - 1) 蛋 一 地 表征 了 除 r(n) 外 的 式 
(1.13) 右 边 变量 的 组 成 。 对 应 地 ,后 阵 庆 中 的 块 元 素 K*() 提 供 了 需要 更 新 前 阵列 
的 量 , 从 而 启动 算法 的 下 一 次 迭代 。 

© 前 阵列 中 包 售 的 块 元 素 1 和 0, 导 至 后 阵列 中 产生 两 个 块 元 素 , 即 1? (n) AL gn)? Cn) 
由 这 两 个 块 元 素 可 能 计算 出 两 个 有 用 的 变量 :卡尔 经 增益 g(n) 和 滤波 估计 误差 的 协 方 关 
7(n) , 它 通过 将 标量 项 简单 地 取 平 方 即 可 得 到 。 卡尔 曼 增益 也 让 以 通过 将 g(n) r?) 
以 re2(m) 而 简单 得 到 。 


在 后 一 结果 的 基础 上 ,我 们 现在 很 容易 更 新 状态 估计 为 
x(n + iY = ARa Yn) + goain) (11.27) 





其 中 
a(n) = y(n) — uo (a) x(n} Y,- ) (11.28) 


为 新 息 。 
式 (11.28) 和 式 (11.27) 分 别 来 自 表 10.4 的 第 二 个 和 第 三 个 计算 步骤 。 表 11.1 的 第 一 部 
分 总 结 出 平方 根 协 方 盖 滤 波 算法 中 所 涉及 的 计算 (Sayed & Kailath,1994)。 该 算法 的 初始 化 与 
常规 协 方差 卡尔 最 滤波 算法 完全 相同 ( 见 表 10.4)。 
囊 11.1 平方 根 卡尔 看 滤波 器 计算 小 结 
1. FRR RE 
1 a#{mK {n - 1) rn) 0 
E AKC — 1} Jo 7 Pace wn | 
git) = (alae (npn) 
a(n) = y(n) 一 wm) Y, 1) 
(m+ LY) = A a D1) + Blade) 


2. PARE AER 
AIK fn — 1} aluin) Kin) (i) 
jin ER) a (O(n) = | RM + UKn) na(n) 
oF 1 AM KE} riin) 


en + 108, = (iin + 1 WIKE Hn (Kr 





表 注 :在 两 个 滤波 器 中 ,@(n) 是 本 旋转 , 它 在 后 阵列 的 第 一 行 产 生 一 个 零 块 元 素 。 


11.1.3 平方 根 信息 滤波 器 
下 面 考 虚 卡 尔 曼 滤波 算法 的 平方 根 实现 , 它 不 是 传递 K ARM BRR Kn). 
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这 种 形式 对 初始 不 确定 性 很 大 的 情况 [+ 即 相关 矩阵 Kt0) 初 始 值 IE 很 大 的 和 情况] 特别 有 由 。 
# 10.5 列 出 ‘eee Ea, RAT RA, PRS RA aR 


T(n) = AKT ~ 1) + Auta)u (7) (11.29) 
Kaifa 1| Y= AMPK Hn- bafa Myr) + A ulaya) (11.30) 

令 道 矩阵 有 K"'(n) 用 其 分 解 形 式 表示 为 
Kn) = KK (0n) (11.31) 


将 式 {(11.29) 和 式 (11.30) 用 其 埃 尔 米 特 转 置 的 形式 胡 示 ,显然 将 更 为 方便 。 于 是 ,将 这 两 个 表 
达 式 右边 的 四 个 量 用 其 分 解 的 形式 表示 为 
AK Hn — 1) = (AK i — AAK — 1)) 
a ja” (a) = (Aur) AM n(n) 
AMSA Cn Y, IK Gn — 1) = (88 (| YR — DAK Pn — 1) 
AM? y*(nju"(n) = (y*(n))(a'?a(n)) 


现在 ,可 采用 下 面 成 对 的 方式 来 识别 前 阵列 中 作为 块 丈 素 的 因子 : 


SACK — DAA un) ERP Mx MAM x 1, 
Ox iniY Kn ~ 1) y (n), RR Lx MAD xd 


就 前 阵列 而 言 ,由 于 前 两 个 央 子 分 别 为 矩阵 和 商量 ,因而 自然 相 容 ;后 一 对 因 了 于 作为 行 问 量 的 
兼容 性 是 因为 式 (11.29) 和 式 (11.30) 采 用 了 埃 尔 米 特 转 置 。 于 是 ,可 重新 构造 如 下 前 阵列 


AWK RAR — 1) Aan) 
Rn JK? (nm 一 1) y*(11) 
oF 1 
加 上 由 最 个 零 和 一 个 1 所 组 成 的 最 后 一 行 是 为 了 给 后 阵列 中 的 卡尔 曼 变量 提供 空间 (Mord & 
Kailath, 1975; Sayed & Kailath ,1994)。 下 面 ,假设 选择 酉 旋转 量 全 (nn) 对 豚 阵 列 进行 变换 ,从 页 
在 后 阵列 顶 行 的 第 二 个 元 素 处 产生 零 块 , 即 
AK {n — 1) Man) Bi(n) 0 
(nY, K Hn) |O) =] bi) En) (11.32) 
0” 1 bii(n} bb(n) 
实际 上 ,经 过 这 种 变换 ,消除 了 前 阵列 中 的 向 量 2u(n)。 通 过 采用 与 平方 根 协 方差 滤波 器 类 
候 的 方法 [ 即 对 武 (11.32) 的 两 边 取 平 方 ,然后 地 较 所 得 到 的 等 式 两 边 各 自 的 项 ], 我 们 可 将 后 
阵列 块 元 素 选 样 为 (见习 题 1) 


Bii(n) = KA(n) (11.33) 
Hin) = "(a + 1/9, )K in) (11.34) 
b(n) = Au Rn) (11.35) 


b(n) =r!" (nja*(n) (11.36) 
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bhin) = A (n) (11.37) 
对 应 地 ,可 将 式 (11.32) 写 成 如 下 所 期 望 的 形式 
AKA (yn — 1) Aata) 
Ee -1) yn) oo 
Y 


1 


Kn) 0 (11.38) 
= x(n + 1|%,)K4{n) r?tnart(n) 


AWK (72) rUn) 
后 阵列 中 的 块 元 素 提供 了 两 组 有 用 的 结 洲 ， 
1) LMWH RAE: 
© 更 新 的 平方 根 KK"? (Cn), Bi Ait. 
@ HSM x(n 4 119K On) DCB, 
2) 其 他 卡尔 要 变量 : 
9 变换 因子 r (n) BRER b(n) 取 平方 得 到 。 
© 新 息 项 a(n), 通 过 用 5w(n) 除 by(n) 来 得 到 。 


更 新 的 状态 估计 xX{n + 11M, ) 通 过 式 {11.34) 中 的 上 三 角 系 统 得 到 ,其 中 KP (on) ot 
(11.33) 得 到 。 具 栖 而 言 ,可 以 通过 回民 的 方法 (method of back-substitution ) ,利用 平方 根 和 矩阵 
K- 如 (nm) 的 上 三 角 结 构 计算 x(n + 119, ) 的 各 个 元 素 。 

表 11.1 的 第 二 部 分 总 结 了 平方 根 信 息 滤 波 算法 ,该 算法 的 初始 化 与 表 10.5 相同 。 

% 11.1 中 总 结 的 平方 根 协 方差 滤波 器 和 平方 信息 泪 波 器 具有 一 个 共同 点 :两 者 从 一 次 迁 
代 到 下 一 次 所 需 的 运算 次 数 { 冬 法 和 加 法 次 数 ) 都 是 OM) BEF M AREER. 


11.2 在 卡尔 曼 滤 波 器 基础 上 构建 平方 根 自 适 应 滤波 器 


前 一 节 描 述 的 卡尔 最 滤波 器 的 平方 根 变 形 , 为 导出 平方 根 白 适应 滤波 算法 提供 总 体 框 
架 ;该 算法 采用 指数 加 权 递 归 最 小 二 乘 (RLS) 佑 计 。 其 根据 是 第 10 BP ER SERA RIS 变 
量 之 同 的 一 一 对 应 关系 。 

RLS 估计 中 两 个 重要 的 平方 根 自 适 应 滤波 算法 称 为 QR-RLS 算法 各 道 QR-RLS 算法 。 采 
用 这 一 术语 的 原因 是 因为 该 算法 的 导出 传统 上 都 依赖 于 一 种 或 另 一 种 形式 的 正 交 三 角形 化 的 
过 程 ,这 一 过 程 在 矩阵 代数 学 中 称 为 QR 分 解 。 在 自 适 应 滤波 中 采用 QR 分 解 的 动因 是 由 于 其 
良好 的 数值 特性 。 

矩阵 (Cn) 的 QR 分解 可 以 写 为 (Stewart, 1973; Golub & Van Loan, 1996) 


Q(n)A(n) = bea (11.39) 


其 中 An AANE, R a) ALTAE, O 为 零 和 矩阵 。 由 于 变换 中 大 量 使 用 Q 和 了 及, 故 称 其 
为 “QR 分 解 "。 出 于 同样 的 原因 ,基于 QR 分 解 的 自 适应 RLS 滤波 算法 也 称 为 "QR-RLS 算法 ”。 
通常 ,指数 加 权 RLS 估计 QR-RIS 算法 的 推导 起 源 于 数据 矩阵 的 预 加 窗 处 理 , 而 后 采用 QR 分 
解 进行 三 角形 化 。 根 据 第 11.2 节 的 内 容 , 这 些 自 适 应 滤波 算法 可 以 直接 从 它们 对 应 的 平方 根 
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卡尔 曼 滤 波 器 得 出 ,从 币 达 到 两 个 非常 理想 的 目标 : 


o Fi- -处 理 指数 加 权 RLS 估计 的 QR-RLS 自 适 应 瀑 波 算法 。 
@ 巩固 了 确定 性 RLS 估计 理论 与 随机 卡尔 曼 滤 波 器 理论 之 问 的 联系 。 


在 本 章 的 其 余部 分 ,我 们 采用 这 一 方法 来 推导 不 同 的 QR-RLS 自 适 应 诚 波 算法 。 考 虑 这 些 算 法 
的 顺序 ,按照 处 理 RLS 佑 计 理 论 的 常规 顺序 ,而 不 是 表 11.1 总 结 的 平方 概 卡 尔 曼 滤 波 器 的 顺序 。 


11.3 QR-RLS 算法 


QR-RLS 算法 ,或 者 更 确切 地 说 是 基于 QR 分 解 的 RIS 算法 ,其 名 宁 来 源 于 如 下 考虑 :在 由 
二 应 滤 流 算法 的 有 限 脉 冲 响应 (FIR) 实 现 中 ,是 通过 直接 处 理 经 QR 分 解 的 输入 数据 算 阵 来 完 
成 最 小 二 乘 权 向 量 的 计算 ,而 不 像 标准 RIS 算 法 那样 是 通过 处 理 输 入 数据 的 (时 间 平 均 ) 相 关 
矩阵 (Gentleman & Kung, 1981; McWhirter, 1983; Haykin,1991) 来 完成 权 向 量 计算 的 。 因 此 ,OR- 
RLS 算法 在 数值 上 出 标准 的 RLS 算法 更 稳定 。 
假设 对 输入 数据 进行 预 姑 窗 ,数据 年 阵 定 义 为 
AH (n) = [ua(1), (2),..., nM),..., n(n)| 


u(i) u(2) uM) œv u(n) 
0O ufl) uM l) oe u(n ~ 1) (11.40) 
0 0 tee u(1) (一 M + 1) 


其 中 对 为 FIR oe ae RK CR a). FE A SE Bo A 
Din) = Saran’) 
= AN(mA(mjA(n) 


(11.41) 


cp ie 
A(n) = diag {A Aa", 1] (11.42) 
称 为 指数 加 权 上 矩阵 ,1 为 指数 加 权 因 子 。 式 (11.41) 表 示 最 小 二 乘法 的 式 (8.45} 的 推广 。 
从 第 9 章 可 知 ,用 于 推导 RELS 算 法 的 矩阵 PO E KE OC) A 
[见方 程 (9.17)], 即 














P(n) = ®tn) (11.43) 
从 第 10 章 的 表 10.3, 我 们 也 注意 到 卡尔 紧 变 量 与 RLS 变量 有 如 下 一 一 对 应 关系 ; 
FRETE RLS 变量 说 明 
Ki(n} AP"! (nj) = Amin) HEE 
rln} Yn) f 变换 因子 
gin) An’ K in) 增益 向 晶 
a(n) ag (n) 先 验 估计 误差 
y(n} acd" (n) St wig 
x(algy,} acu 1) 抽 头 权 向 量 的 个 值 


在 由 这 些 关 系 导 出 QR-RLS 算法 之 前 ,我 们 发 现 改 变 一 下 记号 将 更 为 方便 。 根 据 正则 方程 , 抽 
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头 权 向 量 w(m) 的 最 小 二 乘 估计 定义 为 [ 见 式 (8.35) 


Pa)wn) = z(a) (11.,44) 
其 中 ztn) 为 期 诅 响 应 dn) 与 输入 数据 向 量 ul ZAPPER KE. Ola) RRA 
Pin) = PrP an) (11.45) 

Fete, EEROLA FEL Oo" Cn) ALA AREE p(n) ,定义 为 
p(n) = @'?(n)W(n) = 各 (n)a(n) (11.46) 


于 是 ,通过 传递 O(n) pn). BE QR-RLS FEA EA Se ae E i BX 
我 们 现在 容易 表示 线性 白 适应 滤波 的 OR-RLS 算法 。 呈 休 来 说 ,我 们 可 以 将 起 (11.38) 的 
平方 根 信 息 滤 波 算 法 转变 为 对 应 的 QR-RILS 算法 的 前 后 阵列 变换 ! 在 消去 公共 项 后 ) 
Ap? (x — 1) u(n) Din) 0 
| Al p(n — 1) i fow = | p" {rn) cope (11.47) 
Ti 1 un) "in) y(n) 
通常 ,Bin) 为 西 旋转 量 , 它 对 前 阵列 中 输 人 数据 第 阵 at rn) 的 元 素 进行 运算 ,如 将 它们 一 一 消 
除 , 即 可 产生 后 阵列 顶 行 的 零 块 项 。 自 然 , 平 方 根 自 相 关 和 矩阵 中 ”的 下 三 角 结 构 在 变 接 前 后 得 
以 正确 保留 。 事 实 上 ,这 正 是 RIS 估计 OR 分 解 的 本 质 , 故 取 名 为 “QR-RIS 算法 ”。 
在 算出 更 新 块 DO AM 玉 (m) 后 , 则 可 用 如 下 公式 来 求 最 小 二 乘 权 向 量 wt ae)[ 见 式 (11.46)] 
Wi(n) = ph (n)® in) (11.48) 
利用 D? (nao F = Ata FIR ODOR BO RR. (ER, RITA RR 
对 n> 型 的 时 间 可 行 ,此 时 为 数据 矩阵 A(n), 从 而 (ABE URRY 
为 了 对 OR-RLS 算法 进行 初始 化 ,可 令 D (0) = 87 LM plo) =0, 其 中 6 为 调节 参数 。 
QR-RLS 算法 的 严格 初始 化 发 生 在 0 过 和 型 阶段 ,此 时 后 验 估计 误差 efm) 为 零 。 在 m = 时 次 
达 代 完成 初始 化 ,此 时 efm HIERT., 
表 11.2 列 出 了 QR-RLS 算法 的 总 结 , 它 包括 初始 化 细节 以 及 其 他 让 人 感 兴趣 的 事情 。 
11.2 指数 加 权 ALS 估计 的 QR-RLS 算法 小 结 


RA: 
wean AY (nd = [ut]} ,wt2),…,u(n}] 
WIP a(n) = CEC) doradi). 
预 给 参数 : 
指数 加 要 向 景 =， 
调整 参数 = 8 
本 旋转 = O(n) 
UF: 
wg) = 31 
pio) = @ 
计算 
对 n=1,2.…, 计 算 
A tn — 1) uin) in) ü 
| Mpa — 1) it) = | p(n) coy | 
¥ i u” tn n) y fn) 
aqn) = pimen) 
AE O(n) B38 FERS A METE EIIN A — iT E -EHTK 。 
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11.3.1 QR-RLS 算法 的 脉动 阵列 实现 ~ 


HARA. E S ERAR HE O(n) ,以 便 在 后 阵列 顶 行 产生 一 个 零 块 外 ,还 没有 注 
意 它 的 细节 。 拓 应 这 一 要 求 的 本 矩阵 是 基于 Givens 旋转 的 亚 换 ,其 详细 讨论 在 附录 正中 给 
出 。 

采用 Givens 旋转 可 以 得 出 脉动 1systolic) 阵 列 的 并 行 实现 形式 (Kung & Leiserson,1978)。 脉 
动 阵列 出 具有 规则 结构 的 处 理 单元 阵列 构成 。 阵 列 中 的 每 个 单元 装 有 它 本 身 的 存储 器 ,而且 
每 个 单元 只 与 最 对 近 它 的 单元 相连 ， 该 阵列 的 设计 是 为 了 使 有 序数 据 流 在 时 钟 的 控制 下 , 非 
HA PTBMSHE ,就 像 人 的 心性 跳动 一 样 一 一 内 此 最 洗 "脉动 (Kong,1982)。 这 里 需要 着 重 
注意 的 是 ,脉动 阵列 非常 适合 于 复杂 的 信号 处 理 算法 实现 ,如 9B-RIS 算法 , 当 要 求 在 实时 和 
高 数据 带宽 情况 下 运行 时 尤其 如 此 。 

图 11.1 示 出 实现 QR-RLS 算法 的 一 种 高 效 的 脉动 阵列 结构 (MeWhirter, 1983) ,该 结构 可 用 
于 带 有 三 个 元 素 ( 即 M =3) 的 权 向 量 w(n) 的 例子 。 式 (11.47) 中 的 (W + 1) x CM + 1) EE 
合 可 以 通过 M 个 Givens 旋转 的 序列 来 实现 ,配置 每 一 Givens 旋转 以 便 消除 前 阵列 中 村 x1 向 
量 的 一 个 特殊 元 素 。 于 是 ,可 以 写 出 


M 
o= TI®. (11.49) 
Kat 


其 中 @, MIRE RT POE A MM +1 F k MM +1 SO EO ORE 2 
ATERIA ba suir beara M Dae RELH 


Ök = Oni meee = Ck 
Öm- = SE (11.50) 
OM = 7 Sx 


sith k=1,2,--,M, RAER c HEM MEBSR s 为 复数 。c Ms, 的 选择 满足 如 下 约 
RRA 
ci + |x| =1 对 所 有 天 (11.53) 


O QOR-RLS HEH --TRB BL Gentleman A Kungi 1981) 2 R, (ATTRA be TAS Je A PE ( = 
脉动 阵列 和 线性 脉动 阵列 1。 Gentleman- Kung 阵列 与 图 11.1 中 McWhirter 降 列 的 不 同 如 下 : 
+ PUR, QR-RLS 算法 数学 基础 的 式 {11.47) 变 的 分 两 级 来 实现 。 在 第 一 级 中 ,去 掉 了 前 后 阵列 中 的 最 后 一 行 ,再 矩 
阵 维 数 也 祖 应 降低 :于 基 , 现 在 可 以 写 出 
be -1) a logn) = bee | 
Mp"{n ~ 1) ain) Min) El inp) 
它 由 Gentleman-Kung 阵列 的 三 角 节 (triangnlar section KER, TET RY — ME, PAE INF = Ae ETT Al 
量 。 一 旦 整个 三 角 化 过 程 完成 .数据 流 就 停止 ;而 且 存 储 的 OY AD PY (EE PE HK 
级 以 便 由 线性 脉动 阵列 进行 处 理 。 特 别 地 ,在 第 二 级 中 ,加 代 的 形式 补 该 级 用 来 计算 雇 波 器 权 值 ww Cn),…， 
iain) 0, (nr) EZF, BSR AD McWhirter 阵列 用 来 计算 后 验 估计 误差 (an)。 
。 在 结构 方面 ,为 了 计算 后 验 估计 误差 ,Geniieman-Rung 阵列 采用 内 部 和 边界 单元 ,而 McWhirter 阵列 采用 一 个 附加 
单元 ( 即 最 后 处 理 单元 )。 
就 实用 而 言 ,我 们 可 以 说 ;如果 要 求 计算 后 验 居 计 嵌 莽 ,并 且 对 景 小 二 习 尖 波峰 权 值 只 是 偶尔 需要 ,那么 建议 采用 
的 脉动 过 程 是 McWhirter 阵列 。 另 一 方面 ,如 果 主 要 要 求 是 获得 最 小 二 莱 滤 小 髓 术 作 ,那么 第 11.5 节 所 描述 的 道 
QR-RLS 算法 的 驴 动 形式 是 比 Cendeman-Kung 阵列 更 喜欢 采用 的 方法 。 
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式 (11.50)} 定 多 的 变换 形式 称 为 Givens 旋转 。 
图 11.1 所 示 脉 动 结构 的 设置 主要 考虑 两 点 。 首 先 ,通过 该 结构 从 左 到 右 的 数据 流 必须 和 
前 面 章 节 考 虚 的 所 有 其 他 自 适 应 滤波 器 相 一 致 。 其 次 ,脉动 阵列 直接 对 输入 信号 向 量 n(n) 的 
相继 值 表示 的 输入 数据 和 期 望 响应 ta(n) 进 行 运 算 。 
L 


nl3). (2), {1} 
.uu 0 — 
ul}, 0 0 — — 


d(3).d(Q2).d1) — e 一 一 





图 11.1 QR-RLS RRID: AER EAL ea ER RO 
AREK- BBS OE RALEN BEY HA A 


脉动 阵列 由 单一 时 钟 控 制 ,并 由 以 三 角形 结构 形式 排列 的 三 种 类 型 的 处 理 单元 构成 


e 内 部 单元 ”用 方 框 表 示 。 它 只 进行 加 和 乘 的 运算 ,如 图 11.2(a) 所 示 。 

@ 边界 单元 ”用 大 圆 描述 。 它 比 内 部 单元 更 复杂 ,因为 计算 平方 根 以 及 倒数 ,如 
图 1.2{b) 所 示 。 

@ 最 后 处 理 单元 ”用 小 圆 描述 。 它 将 两 个 输 人 简单 相 乘 ,得 到 输出 ,如 图 11.2(c) Btw. 


由 输入 向 量 u( 4) 元 素 激励 的 三 角 节 的 每 个 处 理 单元 存储 下 三 角 和 矩阵 四“(m) 的 一 个 特殊 
元 素 ,这 取决 于 所 考虑 的 单元 的 位 置 。 处 理 单 元 每 一 列 的 作用 是 旋转 所 存储 的 由 左边 接收 到 
的 教 据 向 量 构成 的 三 角 和 矩阵 的 一 列 , 而 该 向 重 以 接收 到 的 输 人 向 量 u(n) 的 首 个 元 素 即 被 消除 
的 方式 获得 。 然 后 , 降 维 的 (redueed) 数 据 向 量 再 向 右 传递 给 下 一 列 处 理 单元 。 三 角 节 每 一 列 
的 边界 单元 计算 有 关 的 旋转 参数 ,并 将 它们 向 下 传递 给 下 一 个 时 钟 周 期 。 接 着 ,内 部 单元 对 输 
入 向 量 u(n) 的 所 有 其 他 元 素 施 以 相同 的 旋转 。 由 于 在 将 旋转 参数 沿 着 一 个 列 向 下 传递 时 ,每 
个 周期 会 出 现 一 个 时 钟 周 期 的 延 时 ,因此 输入 向 量 u(n) 必 须 以 斜 序 (skewed order) 的 方式 进入 
阵列 , 当 开 =3 时 ,如 图 11.1 所 示 ; 对 期 望 响 应 4(n) 也 是 一 样 。 这 种 输 人 数据 的 安排 确保 了 
ees Pe As(r) 的 每 一 列 向 量 u(n) 通 过 阵列 传递 时 , 它 与 前 面 存 储 的 三 角形 短 阵 
@'? (n -1) 相 互 作用 ,并 由 此 经 历 -一 系列 用 O(n) BRAY Givens 旋转 序列 ,正如 所 要 求 的 。 
此 , 列 向 量 u(n) 的 所 有 元 素 一 个 接 一 个 地 被 消除 ,在 此 过 程 中 产生 并 存储 了 更 新 的 下 三 角 算 
RE 下 2(m) ,同时 为 下 面 的 一 系列 运算 做 好 了 准备 。 

脉动 阵列 以 高 度 流水 线 的 方式 运行 ,因此 当 ( 时 间 偏 移 的 ) 输 和 人 数据 向 量 从 左边 进入 阵列 
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时 ,我 们 发 现 每 -个 这 样 的 辣 量 实际 上 定义 了 一 个 牙 阵 列 移动 的 处 理 波 阵 而 (pmeessing wave 
front)。 从 而 ,在 任意 一 个 时 钟 周期 ,下 二 角 惩 阵 一” (am) 的 无 束 只 褒 着 相关 的 波 阵 面 存在 。 
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(c) 最 后 处 理 单元 


图 11.2 图 11,1 中 的 脉动 阵列 单元 
注意 : 存 情 的 x 值 初始 化 为 局 { 即 实数 }。 对 于 边界 单元 , 它 总 是 实数 。 从 而 由 边界 单 
元 计算 的 旋转 参数 c 和 和 ;可 大 大 简化 ,如 (a) 中 质 示 。 也 注意 到 ,在 (a) 和 (b) 中 存储 在 
阵列 中 的 * 值 是 下 三 角 矩 竹本 的 元 素 ; 从 而 对 于 阵列 的 所 有 元 素 ,r”=> 


由 于 正 交 三 角 化 由 图 中 标 有 ABC 的 脉动 部 分 进行 ,而 行 向 量 P (na) 由 内 部 单元 的 最 后 一 
行 计算 ,其 最 后 - -个 元 素 产 生 输出 En) Cn) CHAT) 
从 图 11.2(b) 我 们 看 到 ,图 11.1 脉动 阵列 结构 中 的 第 上 个 边界 单元 进行 下 面 的 运算 
yt = ea) yu) k= 1,2,..-,M (11.52) 
这 里 ,cufa) 为 该 单元 的 余弦 参数 。 因 此 ,对 于 图 11.1 所 示 村 个 边界 单元 连接 在 一 起 的 情况 ， 
与 加 到 第 一 个 边界 单元 单位 输入 相对 应 的 最 后 一 个 边界 单元 的 输出 可 以 表示 为 
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y(n) = Yon a2) 


= Tieta) 
对 于 输入 等 于 y nA Eln) y On) E OL ARAA r SS aiia 
e(n) RER ILE 9 RAO. t] 
e(n) = &a)y(n) 
= (Eln y) 

aii ey A ete eA 8 pka RESI, PT] A i EA AeA 
期 一 个 的 速率 在 阵列 的 输出 端 产生 。 当 然 .给 定 的 时 钟 周期 所 产生 的 估计 误 善 对 应 于 进 人 阵 
列 前 M 个 时 钟 周期 序列 的 期 望 响应 d am) 的 特殊 元 素 : 

值得 注意 的 是 , 先 验 合计 误差 8(m) 可 通过 内 部 单元 附加 (最 底部 ) 行 量 后 一 个 单元 的 输出 
除 专 最 后 一 个 边界 单元 的 输出 得 和 到。 同样 地 ,变换 因 了 于 Y(n) 可 以 通过 将 最 后 一 个 边界 单元 
的 输出 取 平 方 得 到 。 

11.3 用 示意 图 的 形式 给 出 图 11.1 中 脉动 阵列 的 信号 流 . 为 了 简化 表示 ,我 们 用 了 (nm) 
代替 图 11.3 中 的 O(n). PSEA un) AD d(n)、 三 角 部 分 内 部 状态 变换 和 兴 部 
单元 的 附加 行 ,两 部 分 各 自 的 输出 ,以 及 整个 处 理 器 的 总 输 山 。 


Yet)=1 


(11.53) 


(11.54) 





Fd 
Jar 


Rí Un) 






图 11.3 FA 11.1 的 脉动 阵列 信 导 流 图 示 


图 11.1 所 未 脉动 结构 的 一 个 显著 特点 就 是 绕 过 计算 权 疝 量 Ww(n) 而 直接 计算 后 验 估计 误 
差 。 然 而 ,如 果 需 要 权 向 量 ,可 利用 品行 权 值 刷新 (serial weight fiashing) 的 方法 非 脉动 地 完成 它 
的 计算 {Wand et al. ,1986; Shepherd & McWhirter, 1991). 令 un 和 ad(n) 分 别 表示 时 刻 n 的 输 
入 向 量 和 期 望 响应 。 已 知 该 时 刻 的 权 向 量 为 wln) ,对 应 的 后 验 估计 误差 为 
e(n) = din) - W"(n)u(n) (11.55) 
假设 ”时 刻 脉 动 计算 完 成 后 ,立即 在 时 刻 n, 冻结 阵列 的 状态 。 也 就 是 说 ,假设 阵列 存储 值 的 
任何 更 新 都 被 抑制 ,但 处 理 器 其 他 方面 功能 正常 。 在 时 刻 n, ,同样 令 期 望 响 应 d(n) 等 于 零 。 
我 们 现在 定义 除 第 i 个 元 素 为 1 外 由 一 串 零 组 成 的 输入 向 其 为 


ff 一 10..00...0 
W= | (11.56) 


第 i 个 元 素 
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然后 , 令 dtn)=0 并 将 式 (11.56) 代 入 式 {11,$5), 得 

e(n) = -say (11.57) 
换 句 话说 ,除了 - -个 微不足道 的 符号 改变 外 ,我们 可 以 通过 冻结 n 时 刻 处 理 器 的 状态 来 计算 
开 x1 权 向 量 wa) 的 第 ;个 元 素 ,从 而 将 期 望 响 应 曾 为 零 ,并 旦 以 第 ; 个 元 素 为 1. 其 他 M -i 
个 元 素 为 零 的 输入 向 量 供给 处 理 器 。 所 有 这 些 的 本 质 是 , 埃 尔 米 特 转 置 权 向 量 w?(n) 可 看 做 
非 自 适应 形式 ( 即 冻 结 形式 ) 脉 动 阵列 处 理 器 的 脉冲 响应 ;在 这 个 意义 上 , 它 可 看 做 在 图 11.1 
中 把 CM 一 1) x (于 一 1) 单 位 阵 输 给 十 三 前 阵 麟 ,而 把 零 向 量 输 纵 阵列 的 底 行 所 产生 的 输出 
(Shepherd & McWhirter, 1991)。 为 了 “出 新 "脉动 处 理 器 的 整个 M x1 权 向 量 Ww*(n), 该 过 程 因 
而 必须 停止 对 所 有 存储 值 的 更 新 ,并 输入 由 M 维 单位 阵 构成 的 数据 矩阵 。 


11.4 自 适应 波束 形成 


从 前 面 章节 对 自 适 应 波束 形成 的 讨论 中 我 们 知道 ,采用 宅 间 形式 自 适应 滤波 的 旧 的 是 为 
了 修改 阵列 传 感 髓 的 各 个 输出 ,以 使 产生 一 个 总 的 过 场 图 样 (far-field pattern) ,该 图 样 从 某 种 统 
计 意 义 上 对 沿 着 某 个 感 兴趣 方向 的 接收 目标 信号 进行 优化 。 对 任何 自 适 应 滤波 区 ,这 样 一 种 
优化 都 是 通过 适当 修改 构成 阵列 的 一 组 权 值 而 获得 的 。 与 其 他 自 适应 滤波 应 用 不 同 的 是 , 自 
适应 波 东 形成 不 需要 明确 地 知道 权 值 。 这 表明 ,以 脉动 阵列 形式 实现 的 QR-RES 算法 ,特别 是 
图 11.1 所 述 结构 可 能 的 应 用 领域 。 

在 本 节 中 ,我 们 重新 复习 前 面 第 2 章 ,. 第 5 章 和 第 8 章 讨论 过 的 最 小 方差 无 失真 响应 
(MVDR) 波 束 形成 器 。 关 键 问 题 是 如 和 何 得 到 QR-RIS 算法 以 及 图 11.1 所 示 的 三 角 脉 动 阵列 ， 
以 便 进行 MVDR 波束 形成 。 


11.4.1 MVDR 问题 
考虑 M Seg ERA BL A WEERA , ME I A h 











eli) = Dwr (muli) (11.58) 
f=1 


其 中 (站 为 传感器 7 在 时 刻 i 的 输出 ,w(n) 为 相关 的 ( 复 ) 权 值 。 为 了 简化 数学 表达 式 ,考虑 
单个 观察 方向 的 简单 情况 。 令 Aah ,swt8) 为 所 描述 的 转向 襄 量 (8) TOR ; 
Bo 由 观察 方向 决定 。 特 别 地 ,元 素 s,(9) 为 没有 信号 情况 下 传感器 1 的 输出 。 于 是 ,我 们 可 
表述 MVDR 问题 如 下 ， 

最 小 化 代价 函数 


= Salet (11.59) 


WEAR AIF 


= 


DS wi(n)s,(8) =1 对 所 有 (11.60) 
ey 
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采用 矩阵 表示 ,可 重新 定 尽 式 111.59) 中 的 代价 郴 数 为 

(an) = e"(njA(nje(n) (11.61) 
其 中 ACh) ATRIA ,e( ABARAT AE R, ARETE (11.58) ,波束 形 
成 器 的 输出 向 量 (an) 与 数据 年 阵 Atn) 之 间 的 关系 为 


eln) = fe(1),e(2),....e(n)]" 


= Aw) (11.62) 
其 中 w(n) 为 权 向 量 ,A(n) 可 按照 快照 (1) ,u(2),- un EA 
A" (n) = [u(1), u(2),..., n(n)] 
uil1) uil2) y(t) 
uzl1) u2(2) e min) (11.63) 
umil} uyl?) i i 


现在 ,可 用 和 矩阵 形式 重 述 MVDR 问题 如 下 : 
fi He ZEEE An AARE RAEE 在 (m) 的 情况 下 ,将 对 代价 函数 
8(n) = JAM A) wl) |)? (11.64) 
相对 于 权 向 量 wn BTR, BE RH 
winjsf 的 一 1 对 所 有 nn 
AP SODA 日 的 转向 向量 。 
该 约束 最 优化 问题 的 解 用 MVDR 公式 表示 为 [ 见 式 (8.91)] 
-1(n)s(0) 





(n) = (nel) (11.65) 
其 中 

D(z) = A” (n)A(n)A(n) (11.66) 
是 n 次 快照 平均 后 指数 加 权 传 感 器 输出 M x M ERER. 
11.4.2 脉动 MVDR 波束 形成 器 

SEER 王 (mn) 用 其 分 解 形 式 表示 为 

B(n) = B'?(n)D"?2(n) (11.67) 

相应 地 ,可 将 式 (11,65) 重 新 写 为 
w(n) = bc CA (11.68) 


sD 4 /2( nn) '/?(n)s(6) 


为 了 简化 起 免 , 定 义 辅 动向 量 
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a(n) = D '(n)s(@) (11.69) 
我 们 现在 注意 到 , 式 (11.68) 的 分 母 是 一 个 实 值 标量 , 它 等 于 辅助 向 量 aC n ORR RE 
方 。 分 子 等 于 埃 尔 米 特 转 置 的 道 平 方 根 OO (n ARLA a(n) TE, THA 
(11.68) 简 化 为 
Da 


lafa)? 


时 刻 n 的 MVDR 波束 形成 器 输出 ,或 者 按照 自 适应 滤波 术语 ,响应 快照 n(n) 所 产生 的 后 
验 估计 误差 为 








w(n) (11.70) 


e(n) = w"(n)u(n) 





a” (njb'?(n)u(n) (11.71) 
p EG 
令 
e(n) = ai(nyb 2(n)u(n) (11.72) 
表示 新 的 估计 误差 。 
则 式 (11.71) 简 化 为 
e'(n) 
eln) = Jaimie (11.73) 


该 方程 表明 ,MYDR 波束 形成 器 的 输出 (M HATER em Al a(n HEE XD 
美 于 这 一 点 ,回忆 QR-RLS RHE PH AS HRS e(m) 的 会 式 是 很 有 局 发 意义 的 。 根 
ie A 
e(n) = d(n) 一 w"{n)u(n) (11.74) 


其 中 d(n) WY pwn) Pe) RRR un ) 为 输入 数据 向 量 。 将 式 (11.48) 代 人 式 
(11.74) ,可 得 
e(n) = d(n) — p*(n)@"?(n)u(n) (11.75) 
于 是 ,比较 式 (11.72) 与 式 (11.75) ,容易 得 到 表 11.3 所 列 的 QR-BLS 自 适 应 滤波 变量 与 MVDR 
波束 形成 变量 之 间 的 对 应 关系 。 这 里 列 出 的 对 应 关系 只 表示 MYDR 波束 形成 中 的 变量 和 
QR-RIS 自 适应 滤波 中 变量 之 间 的 “作用 的 相似 性 ” ,而 不 是 等 效 性 。 
表 11.3 OR-ALS 自 适 应 滤波 变 最 和 MVOR 波束 形成 变量 之 间 的 对 应 关系 


QR-RLS Bie MVDR 波束 形成 说 明 
eln} ~e'(n) tiik 
din) 0 期 望 响 应 
p(n) a(n) 辅助 向 量 
uln) 快照 


un) 


该 阶段 现在 的 任务 是 改写 QR-RLS 算法 ,以 适合 于 MVR 波束 形成 问题 。 首 先 ,我 们 将 表 
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11.3 中 的 对 应 关系 用 于 QR-RIS 算法 式 (11.47) 中 的 前 阵列 ,从 而 可 将 MYDR 波束 形成 器 的 前 


阵列 写 为 
Ab 一 1 ulna) 
AMalin ~ 1) 0 
(H 1 
然后 ,我们 采用 与 第 11.3 节 描 述 的 同样 方式 来 确定 后 阵 询 .于 是 ,可 以 写 出 
AT) nfa) P 767) 0 
Alaf {a — 1) 0 |@(n) = a”{n) ~e(ayy tn) | (11.76) 
op! 1 a" (nO? n) yin) 


现 可 着 出 ,MYDR AET HAA RR S EE o Ah (11.76) P Ra EF 


© 更 新 的 辅助 向 鞭 a(n) TI RAUR EIKE LITE. 
© HREH FHA. 
ein) = (e'in)jy Pin) ly ia) (11.77) 
HR ee’(n)y ? Ca) Ay” o H RRMA RIS SE EL 


最 后 ,我 们 可 以 采用 网 11.4 所 示 的 脉动 阵列 来 实现 MDR RRR. BR he 
动 外 , 它 与 图 11.1 基本 相同 (MeWhirer & Shepherd,1989)。 具 体 而 言 , 对 所 有 n, din AEA 
零 。 对 于 这 一 适当 的 改变 ,从 图 11.4 我们 注意 到 如 下 两 点 : 


s 辅助 向 量 a(n) 在 单元 的 最 底 行 产生 并 存储 。 
@ 最 后 处 理 单元 的 输出 等 于 - e’ (nde 


对 于 加 到 图 11.4 所 示 脉 动 阵列 的 一 个 连续 快照 序列 oC) an +1),… ,根据 式 (11.73), 可 由 
MVDR 波 东 形成 器 产生 相应 的 估计 误差 序列 e(n),e(n+1),…。 
1 


u(3), u(2), (1) 
w(2}.u(1}, 0 =- 


uf), 0, 0 —e — 





图 12.4 解 岂 MYDR 波束 形成 问题 的 脉动 阵列 
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11.4.3 计算 机 实验 

我 们 现在 通过 考虑 5 个 均匀 放置 的 传感器 线性 序列 ,来 阐述 MVDR 波束 形成 器 脉 动 阵列 
实现 的 性 能 。 相 部 元 索 之 问 的 距离 d 等 于 1.5 个 接收 波长 。 该 阵列 运行 的 环境 由 一 个 期 望 信 
号 和 和-… 个 单一 十 扰 信 号 组 成 ,它们 玉 源 于 互 不 相关 的 源 信和 号。 指数 加 权 因 子 = 1。 

实验 目的 有 以 下 两 个 方面 : 

9 检验 波束 形成 器 的 适当 空间 响应 (模式 ) 随 时 间 的 演变 。 

e 通过 改变 干扰 信号 和 日 标 信号 的 比值 ,来 测试 于 挑 为 零 时 波 东 形成 器 的 性 能 。 

期 望 信号 和 干扰 信号 源 的 方向 如 下 : 











EL | 相对 于 阵列 的 正则 方程 测量 的 实际 入 射 角 {强度} 
日 标 sin” ' (0.2) 
Fii 0 
HS jd] YE LN 
s"(0) 一 [ie P eT e P, e*t] (11 78) 
其 中 电 和 角度 
A= xsing (11.79) 
9 为 实际 入 射 角 。 


用 于 该 实验 的 数据 集合 由 三 部 分 构成 :目标 信和 、 基 本 接收 噪声 和 干扰 信号 。 且 标 信号 和 
干扰 信号 来 源 于 远 场 阵列 天 线 , 因 而 用 沿 着 各 和 方向 人 射 到 阵列 上 的 平面 波 表示 。 令 这 些 方 
向 用 角度 p 和 p 表示 ,它们 相对 于 阵列 天 线 的 法 线 (以 弧度 ) 测 量 。 阵 列 天 线 基本 信号 用 基 

u(n) = 40eXPURB + A,exp(jn@, + fw) + v(m) n= 0,1,2,3,4 {11.80) 


其 中 4, 为 目标 信号 的 幅度 , A, 为 十 扰 信 号 的 幅度 。 由 角度 g MO, SARA po 和 p WK 
系 [如 式 (11.79)] 所 示 。 由 于 目标 信号 和 干扰 信号 互 不 相关 , 式 (11.80) 第 二 部 分 的 相位 差 为 
在 (0,2r] 间 隔 内 均匀 分 布 的 随机 变量 。 节 后 ,附加 接收 器 噪声 v(n) 是 均值 为 零 .方差 为 1 的 
复 值 高 斯 随机 变量 。 目 标 信号 和 噪声 信号 的 比值 保持 在 10 dB; Fifa Ss ARS Ss EEE 
变化 的 ,假设 值 为 和 dB.30 dB AI 20 dB. 

图 11.5 示 出 了 改变 波束 形成 右 目 标 信号 和 干扰 信号 的 比值 以 及 快照 数目 (除了 那些 需要 
初始 化 的 快照 ) 对 波 东 形成 器 自 适 应 响应 的 影响 。 幅 度 响 应 通过 计算 20 logy 1e(n)e "1 得 到 ， 
并 用 局 表示。 这 里 乘 以 指数 因子 ”是 为 了 对 空间 采样 的 波束 形成 器 输出 etn) 取 平均 。 结 
果 分 三 部 分 ,分 别 对 应 于 20.100 和 200 个 快照 ;而 每 一 部 分 又 对 应 于 三 个 不 同 的 干扰 信号 和 
噪声 俏 导 比值 , 即 40 dB,30 dB F8 20 dB. 

在 这 些 结果 的 基础 上 ,我 们 可 以 进行 如 下 观测 : 


e@ 沿 波 东 形 成 器 目标 方向 的 响应 根据 需要 对 所 有 情况 固定 为 1( 即 0 dB), 如 所 要 求 的 。 
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@ 对 于 20 个 快照 的 情况 ,除了 初始 化 外 波束 形成 器 呈现 出 合理 有 效 的 置 零 能 为 ,并 随 着 
处 理 快照 数目 的 增加 而 提高 。 
9 波束 形成 器 对 干扰 信号 和 目标 信号 比 的 变化 响应 相对 不 敏感 。 








sin æ 
《ay20 


-a— {È - MEE = 20 dE 


~i 30 dB 


lac an 

=. 08 A D4 02 2 04 O86 of | 
sin g 
ib v= 100 





图 11.5 脉动 MVDR ERE RM AR PHS AAR 
快照 数目 情况 下 空间 响应 的 计算 机 实验 铺 果 
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sin ¢ 
{c} = 200 


图 11.5 脉动 MVDR ROR Ra TA Tia SF 
快照 数 自 下 空间 响应 的 计算 机 实验 结果 ( 继 ) 


11.5 ## QR-RLS 算法 


我 们 现在 加 到 最 后 一 种 平方 根 自 适应 滤波 算法 , 即 道 QR-RLS 算法 @。 该 算法 取 名 逆 算 法 
是 因为 , 它 不 像 常规 QR-RIS 算法 那样 对 自 相 关 和 矩阵 由 (mn ) 进 行 运算 ,而 是 对 OC) HE 
行 运算 {Alexander & Ghirnikar, 1993; Pan & Plemmons, 1989), 更 具体 地 说 ,就 平方 根 而 言 , 北 
QR-RIS 算 法 传递 P*(n) = 0 (a) PEE FREBR Kn) MPAA RLS BR ATP) 
— BEC RITAR Bt OR-RIS 算法 基本 上 是 平方 根 协 方差 (卡尔 曼 ) 滤 波 算 法 的 另 一 种 
形式 。， 

从 平方 根 协 方差 滤波 算法 的 表达 式 (11.26) 容 易 看 出 (从 最 后 一 行销 去 公共 因 于 a” 
证) ,六 QB-RLS 算法 对 应 的 前 后 阵列 变换 可 写 为 

1 ATu" pl _ 1 3/2 g 
[o A an Jo) = PAA pinn) (11.81) 

其 中 On h Bes EMT RT RE PRIH A a(n) PY Cn - 1) 进行 运 算 , 从 而 一 一 消除 其 
中 的 元 素 , 并 在 后 阵列 第 一 行 产生 淮 块 项 。RLS 算法 的 增益 向 量 kfm) 很 容易 从 式 (11.81) 后 
阵列 第 一 列 中 的 项 得 到 , 即 


© WM OR-ASRRHNRREAS, COUR RR) ARBRE. RA, CAS QR-RIS BR RH — 
POPS RE, MOR AS PLB Gentlernan-Kung PEP PERERA RRO, RT, eT 
{AMT ,扩展 的 QR-RLS 滤波 器 的 发 明 (Huadson et al. 1989) 50 TA QR-RLS 2B I 34 ( Alexander & Ghirnikar, 1993), 3 
FRY QR-RLS 光波 器 的 推 等 在 习题 3 中 介绍 。 
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kon) = (kay Cn yay) (11.82) 
HE, feb FRE Tey GE AT ORAS STF A A 

Win} = Wn — 1} + kné (n) (41.83) 
进行 更 新 。 其 中 Foe eee LO A ie XA 

Efn) = dla) — Wn -— Lute) (11.84) 


道 QH-HLS FE AY EAS (FR RI TE 11.4 中 列 出 。 


表 41.4 BORALS 算法 小 结 


输入 : 
arth a BE AY (Cn) = Tat1) ,nt2),… ,n(n)l 
HEN ed? (ad = idil}, d2 0 dCa)}! 
HASH: 
指数 加 权 因 子 = A 
调整 参数 = 5 
初始 条 件 : 
P20) 一 全 
#(0) = 0 
计算 ， 
Hnt 2,…, 计 等 


1 AU2aafn)PUV2Cn 一 n] @(n) = [ ytin) 位 | 
v APUN n — 1) a kindy a) BMC) 
式 中 OC nb a PEP A OR He BES 


k(n) = (EC) Py (ayy 
En) = din) — win — lula) 
wit} = win 1) + kn)et{n) 


这 里 需要 注意 的 是 , REA O(n) PSA, RBM 11.45),0°7(n) = 
P(n) WARE A b= Ae. 

逆 OR-RLS 算法 与 常规 的 QR-RLS 算法 一 个 基本 不 同 点 是 ,输入 数据 向 量 ms) 本 吴 并 不 
作为 块 项 出 现在 该 算法 的 前 阵列 中 ,而 是 将 它 乘 以 4“P”(n -1)。 因 此 ,输入 数据 回 量 a 
(nm) 在 进行 式 (11.81) 中 所 描述 的 旋转 之 前 ,需要 进行 预 处 理 。 预 处 理 呆 要 做 的 事情 只 需要 简 
单 地 计算 on) See a RE P (a - 1 的 每 一 列 之 间 的 内 积 。 预 处 理 器 可 吸取 
P2(n - 1) 的 上 三 角形 式 的 优点 进行 构建 。 

it OR-RLS 算法 中 的 脉动 处 理 可 通过 如 图 11.6 所 示 的 两 部 分 连接 的 方式 来 实现 : 


和 三角 脉 动 阵列 , 它 运 行 在 预 处 理 输 人 向 量 4-P*Y(n -1)a(z) 上 ,与 式 (11.81) 的 埃 尔 
米 特 转 置 形 式 相 一 致 。 更 新 矩阵 Pa2(an) 的 非 零 元 素 存 储 在 脉动 阵列 中 的 内 部 单元 中 。 
ROAR HRA y On YP (nk in) 

s 线 件 部 分 , 它 附 属于 三 角 部 分 ,用 来 对 脉动 计算 的 后 两 项 进行 运算 ,以 便 产 生 与 式 
(11.82) 、 式 (11.84) 和 式 (11.83) 相 一 致 的 更 新 权 向 量 w(n) 的 元 素 。 


将 这 两 部 分 要 结合 ,可 以 设计 出 以 完全 并 行 的 方式 进行 运算 的 脉动 处 理 算法 (Alexander & 
Ghirnikar, 1993) . 
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A LIP? {y 一 4) 


Rae 





FL 11.6 道 QR-RIS 算 法 的 方 框 图 


11.6 本 章 小结 


在 本 章 中 ,我 们 统一 考虑 了 两 种 指数 加 权 递 归 最 小 二 乘 (RLS) 估 计 的 平方 根 自 适 应 恋 波 
算法 ,它们 是 QR-RIS 算法 和 逆 QR-RLS 算法 。 这 两 种 算法 分 器 利 用 与 平方 根 信息 滤波 器 和 平 
方 根 协 方差 滤波 器 的 一 一 对 应 关系 而 得 到 ;它们 都 是 著名 的 卡尔 曼 沾 波 器 的 平方 根 变形 。 
QR-RLS 算法 和 逆 QR-RLS 算法 分 别传 递 单个 平方 根 OP Cn) H P(n) = BP (nr), 

QR-RLS FA QR-RILS 算法 的 一 个 共同 特征 是 ,它们 在 不 同 程度 上 都 可 以 通过 脉动 阵 
列 的 形式 并 行 实 现 。 当 然 ,脉动 阵列 实现 的 实际 细节 取 块 于 采用 何 种 算法 。 特 别 地 ,需要 仔 组 
注意 它们 的 一 些 基 本 差别 。QR-RLS 算法 直接 对 输入 数据 进行 运算 ,而 道 QR-RLS 算法 在 对 输 
人 数据 向 量 Cn) 进行 脉动 阵列 处 理 前 ,需要 将 它 乘 以 平方 根 矩 阵 4 -“P“(a 一 1)。 这 就 增加 
了 逆 QR-RIS 算法 并 行 实现 的 计算 复杂 度 。 

it QR-RIS 算法 的 并 行 实现 允 许 以 一 种 有 效 的 方式 直接 计算 最 小 二 买 权 向 量 。 因 此 , 平 
方 根 自 适应 滤波 算法 非常 适合 于 诸如 系统 认识 、 谱 估计 以 及 自 适应 均衡 等 应 用 ;此 处 需要 知道 
校 向 量 的 相关 知识 。 相 比 之 下 ,QR-RLS 算法 要 计算 后 验 居 计 误差 e( =) ,这 实质 上 把 它 的 应 用 
限制 于 自 适 应 波束 形成 以 及 回 波 消除 等 方面 ,这 里 不 需要 知道 权 辣 量 的 明显 知识 。 

最 后 ,需要 指出 的 是 ,无 论 0R-RLS 算法 还 是 逆 QR-RIS 算 法 ,都 保留 了 标准 RLS 算法 的 收 
效 性 , 即 快速 收敛 速率 ,以 及 对 输入 数据 相关 矩阵 特征 值 扩散 度 变化 的 不 敏感 性 。 


11.7 习题 


1. 对 平方 根 信息 证 波 器 ,根据 式 (11.32) 描 述 的 前 后 阵列 变换 形式 ,推导 出 式 {11.33) 到 式 
(11.37) 定 义 的 方程 式 。 
2， 在 本 题 中 ,我 们 重新 考虑 平方 根 信息 滤波 器 。 具 体 来 说 , 信 式 (11. 轨 和 式 (11.3) 状 态 空间 
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SB he vn) PSAs FEA 9(n) 的 随机 变量 。 证 明 平 方 根 信息 滤波 器 可 以 写 为 
Km) = AK (n 1) + O*(n)u(nju" (x) 
K'(ajila + 11Y,) = AVK (a — iin 1) + Onda) yay) 
它 包 含 式 (11.29) 和 式 (11.39) 作 为 其 特例 。 
3. (a) 下 面 的 前 阵列 


AIK {a ae 1) Alun) 
Hin, YK a 1) yn) 
oF 1 


ANIKI — 1) 0 
为 式 (11.38) 中 前 阵列 的 扩展 形式 。 证 明 扩 展 的 平方 根 信息 滤波 器 可 以 写 为 
了 一 Aufn) 


afat, GK a- 1) yt(n) 
Dr 1 SUN 


ATOK ia -— 1) Ü 
KH n) 0 
_ | RnR) main) 
~~ Au aK a) rn) 
K(n) g(a)" (n) 
从 而 写 出 更 新 状态 估计 x(n + 1G, ) 的 表达 式 。 


(b) 利用 (a) 的 结果 ,证 明 扩展 QR-RLS 算法 可 以 描述 为 下 机 的 递归 形式 ; 
对 m=1,2…… 计 算 


Mp2 1) ufr) p'Hn) 0 
ln 一 1 d H 172 
ap Me ) ie eu = as ee ae 
AM Hg — 1) 0 pAn) -k(n)y?(n) 


其 中 @( nm ) 为 酉 旋转 , 它 对 前 阵列 进行 运算 ,在 后 阵列 的 第 一 行 产生 零 块 项 。 该 算法 
是 如 何 计 算 最 小 二 乘 权 向 量 的 ? 
4. GREE A(n) 的 QR 分 解 涉 及 的 n x nm BEE Q(n) 采 用 下 面 的 方式 分 解 


Qn) 
Re | 
其 中 Q,(n) 在 与 A(n) 的 QR 分 解 中 上 三 角 和 矩阵 RO POA TT. ee A 


于 A=1。 
根据 第 8 音 给 出 的 最 小 二 乘法 ,投影 算 子 为 
P(n) = A(X AA) A(n) 
证 明 , 对 本 题 中 的 问题 ,有 
P(n) = QF (A) Qn) 

对 于 0<A%sl 的 情况 ,结果 是 如 何 修改 的 ? 
5. 解释 为 何 图 11,1 中 的 脉动 阵列 结构 可 以 用 做 预测 误差 滤波 器 进行 计算 。 
6. 基于 前 向 蔡 代 ,讨论 采用 线性 节 如 何 求解 方程 Refn)a(n) =s 中 的 向 量 a(n); 其 中 矩阵 

Rín) Mx M b= sh Mx 1 ie. 
7, 在 第 11.3 节 描述 的 QR-RLS 算法 脉动 实现 中 ,我 们 说 图 11.1 EES KB AB 


8. 


9. 
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单元 的 最 后 一 个 元 素 产生 输出 Eny Ca). 根据 输入 数据 ,推导 这 一 结果 。 
图 11.1 MVDR 波束 形成 器 算法 的 框图 ， 图 中 fa) 部 分 的 三 角 阵 列 在 n IN AR ORES PY By ee 
SB) 为 阵列 的 输入 。 阵 列 存储 值 Rn 到 及 输出 a” (nn) RERA (b) PAAR PEAK AB RAH. 


atin), Ra) 





aff(n} = SOIR Ln) 


fa) (by 
图 P.L! MVDR 被 束 形成 算法 的 框图 
(a) 证 明 三 角 阵 烈 的 输出 为 
atfn] = s” (OR (n) 
(b) AHEHE HARTERA ENAA RAR ARR EE wn )o 
证 明 对 于 第 11.4 节 描 述 的 脉动 MVDR 波束 形成 器 ,有 
ajala — DF = japo + fein 


EP il a(n) | 为 辅助 向 量 a(n HOKE, A 为 指数 加 权 因 子 ,e (nn) 为 某 个 估计 误差 。 


10. 道 QR-RIS 算法 是 标准 RLS 滤波 器 的 自然 扩展 ,因此 它 可 以 看 做 平方 根 RS 算法。 证明 


这 一 表述 的 正确 性 。 


面向 计算 机 的 实验 


11. 


本 题 中 ,我们 再 来 考虑 第 11.4 节 描 述 的 MYDR 波束 形成 的 计算 机 实验 , 它 涉及 互 不 由 关 
的 目标 信号 源 和 干扰 信号 源 。 该 目标 的 信 品 比 为 10 dB, FIRA HH 40 dB。 如 前 ,干扰 
信号 到 达 角 为 

Pintert 一 sin (0) 
然而 ,此 时 我 们 研究 当 上 日 标 信 号 但 近 干 扰 信 号 时 ,波束 形成 器 的 空间 响应 。 试 对 下 面目 标 
信号 的 到 达 角 : 
Ci) Puma =sin’ È -0.15) 
Gi} @age= sin '( - 0.10) 
Cii) Pg 5n { - 0.05} 
ERRERA A E i BR a R E FPP BS Eo 


. 习题 11 中 的 目标 信号 源 和 王 扰 信号 源 之 间 互 不 相关 。 在 本 题 中 , 我 们 研究 当 两 者 相关 


Hf, MVDR 波 东 形成 器 空间 响应 的 情况 。 即 ,将 阵列 天 线 的 信号 用 基带 的 形式 定义 如 下 
u(n) = Aoexp ndo) + A,exp(jnh + fy) teln) n=0,1,2,3,4 

其 中 A 和 4, SFY SAPS, We, AA ARARE, Y 为 某 个 固定 

相 移 。 对 新 的 输入 e BRIE 11 的 计算 机 实验 。 


第 12 Rt PAH AE eae A 


本 章 研究 男 一 类 线性 自 适应 滤波 器 ,其 设计 基于 阶 数 更 新 和 时 间 更 新 的 递归 算法 D3。 这 
种 新 的 自 送 应 滤波 融 与 前 面 章 节 所 研究 的 温 波 器 的 不 同 之 处 在 于 阶 更 新 。 而 这 可 以 利用 均 食 
采样 后 时 间 数 据 的 时 移 特 性 来 实现 。 就 结构 抽 育 , 阶 更 新 获得 一 种 计算 高 效 、 模 块 化 以 及 格 型 
的 结构 ; 它 可 将 前 面 m - | 阶 计算 得 到 的 信息 传递 到 殉 新 后 的 m 阶 滤波 器 。 最 后 结果 是 实现 
其 计算 复杂 度 与 滤波 器 m 阶 旦 线性 关系 的 白 近 应 滤波 器 。 

与 其 他 类 型 线性 自 适应 滤波 融 相 同 , 阶 弟 归 自 适应 滤波 器 的 设计 也 是 基于 下 面 两 种 方法 : 


1) 随机 梯度 法 它 建立 在 第 3 章 由 维 纳 让 波 器 理论 所 导出 的 线性 格 型 颈 测 器 的 基础 上 。 
2) 最 小 二 乘法 它 建立 在 卡尔 曼 滤 波 髓 与 第 10 BS ih YEN ef) FR RLS) OER RR 
间 对 应 关系 的 基础 上 。 


从 随机 梯度 法 得 出 的 阶 递归 自 适应 滤波 器 设计 简单 ,但 在 特性 方面 是 近似 的 ;其 设计 的 简单 
性 在 于 格 型 滤波 器 的 每 一 级 只 有 一 个 反射 系数 。 相 比 之 下 ,基于 最 小 二 乘法 的 阶 递 昭 自 适 应 让 
波 器 比较 精确 ;但 其 算法 表达 式 需要 更 多 的 软件 编码 关系 。 其 算法 的 复杂 人 性 在 于 最 小 二 和 屁 格 型 
预测 器 的 每 一 级 需要 两 个 不 同 的 反射 系数 来 表征 它 ,一 个 用 于 前 向 预测 , 另 一 个 用 于 后 向 预测 。 

下 一 节 , 考 虑 梯度 自 适应 格 型 滤波 器 ,由 此 开始 对 阶 递归 自 适应 滤波 器 的 研究 。 在 其 他 各 
节 里 ,再 来 研究 其 他 形式 的 阶 递归 最 小 二 好 自 适应 泪 波 部 。 


12.1 梯度 自 适应 格 型 滤波 器 


梯度 自 适应 格 型 (GAL, gradient-adeptive lattice) 32 JK 28-42 HH Gr 三 ths(1977,1978) 提 出 的 , 它 
可 看 做 归 一 化 最 小 均 方 (LMS) 滤 波 器 的 自然 扩展 ,因为 在 算法 实现 上 ,二 者 都 依赖 随机 梯度 
法 。 图 12.1 示 出 了 期 望 响应 d(xn) 佑 计 的 基本 结构 , 它 是 基于 同时 进行 前 后 何 预 测 的 多 级 格 
型 滤波 器 (该 图 与 图 3.13 相同 )。 下 面 ,我 们 首先 导出 多 级 格 型 预测 器 的 递归 阶 数 更 新 ,然后 


























个” 末 章 所 讨论 的 阶 递归 自 适 诺 扎 波 器 算 浴 族 是 人 们 部 知 的 自 适 应 污 波 快速 算法 的 一 类 。 在 递归 最 小 二 匀 估 计 中 ,如 
果 算 法 的 复杂 度 随 可 油 参 数 呈 线性 增长 , 则 称 该 算法 为 快速 算法 。 因 此 ,就 计算 而 言 ,快速 算法 类 似 于 LMS 算法 ， 
但 就 编码 而 言 ,其 要 求 更 为 严格 。 

与 本章 中 讨论 的 焙 地 预测 器 决 速算 法 相 比 .下面 商 种 快速 RS 算法 可 直接 计算 自 适应 横向 滤波 器 系数 : 

。 抉 速 棋 向 滤 省 器 (FTF) 算 法 , 它 涉及 前 .后 向 孤 测 .增益 向 量 计 算 .联合 过 程 佑 计 等 四 种 滤波 器 的 联合 使 用 (Cio 全 
& Kailah ,1984)。 这 是 一 种 很 好 的 等 法。 然而 , 当 采 用 有 限 畏 度 来 实现 时 , 它 有 数值 不 种 定 的 趋势 。 为 了 使 算法 
稳定 ,必须 对 它 做 某 种 修改 , 见 第 13 章 的 讨论 。 

© ARSE ATT KGE), ÈE AP TRGB RLS BLK (Skidmore & Proudjer,2001) ,这 种 新 算法 采用 内 插 和 预测 的 
TE JER Ee BOE HR QRR 技术 产生 增益 向 量 k(n)。 从 计算 结果 可 以 立即 得 到 最 小 平方 
一 乘 权 向 量 育 (n)。 对 该 算法 来 说 新 的 一 点 是 ,新 的 内 捅 误差 ( 残 差 ) 以 阶 数 递归 方式 计算 。 对 于 一 个 M it AA 
应 滤波 问题 ,该 算法 需要 0M log 暑 ) 次 选 代 。 这 可 通过 分 而 胜 之 (divide-and-conquer) 的 方法 来 达到 。 热 而 ,FIF 
算法 误差 随时 间 指 数 增 长 ,而 KacE 算 法 则 星 钱 性 增长 。 计 算 机 模 执 表明 ,这 种 新 英法 能 够 成 荔 地 进行 成 百 上 
千 万 次 的 造 代 ,其 鲁 棒 性 很 好 ,因而 很 适合 于 实际 的 应 用 。 


第 12 韶 人 阶 过 娄 自 适应 滤波 器 427 





得 出 期 望 响 应 估计 器 相应 的 更 新 。 
第 1 级 第 对 级 


fu tr) 








yal!) = Ry 
dtr} yt 


12.1 基 十 格 型 结构 的 联合 过 程 估计 ,其 中 每 一 阶 舍 有 一 个 反射 系数 


12.1.1 多 级 格 型 预测 句 
图 12,2 示 出 了 一 个 单 级 格 型 预测 器 的 方 框图 ,其 输入 输出 关系 用 单个 参数 一 一 反射 系数 
Kn 来 表征 。 假 设 输入 数据 广义 平稳 且 wx。 为 复 值 。 对 于 en 的 估计 ,首先 考虑 代价 函数 
Jiem = TAD + joat] (12.1) 
其 中 ,nn) 为 前 向 预测 误差 ,5, (5) 为 后 向 预测 误差 ,它们 者 是 在 本 级 滤波 器 输出 给 测量 的 ; 


E 为 统计 期 望 算 子 ;引入 因 子 112 是 为 了 简化 表达 式 。 从 第 3.8 节 我 们 已 经 知道 , 格 型 滤波 带 


的 输入 输出 关系 为 ( 见 图 12.2) 
falni) FA hn-iln) + KaPi lA z i) (12.2) 





和 
Pmr) = bail 1) T Km fm—iltt) (12.3) 


#ROLDARO2LIRARO. 1), RMB 
Iram = F (Elfin) ] + Ellent- DP + bal) 
+ Kn EL fnb (1 7 1)] 十 x E| bm- {n ~ 1}F% .1(n)] 
将 代价 函数 及 .对 复 反射 系数 x。 求 偏 导 , 可 得 


{12.4) 
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Odih m 3 2 
ZEE = kal Elna] + Blowstn =- DP) + 28 [Pm ile = fhn] (12.5) 
如 令 该 梯度 等 于 零 RSCG a Jp ME ARR RIA 
_ 2Elb m- {a = = fpr) f 
E| fone ri + bm -in 一 vf ] 
这 个 用 来 求 取 最 优 反射 系数 0, ,的 公式 , 称 为 Burg 公式 ( Bing, 1968)", 








(12.6) 


rat) : 
aci ALETTA RU 


REANA 


bn- (rn bm {n ) 





图 12.2 AMR m 级 的 方 框图 


Burg 公式 涉及 到 使 用 集 平均 。 设 输入 信和 号 ef(n) 是 各 态 历经 的 , 则 如 第 1 章 所 述 ,可 用 时 
间 平 均值 代替 式 中 分 子 分 母 的 期 望 值 。 于 是 ，m 级 格 型 预测 器 反射 系数 ,的 Burg 估计 为 


25 bali- Dl) 
E E (12.7) 
> fn iP + bmili — D 
其 中 ,估计 和 值 ,对 数据 块 长 度 的 依赖 性 也 反映 出 估计 与 数据 有 关 这 个 事实 。 
式 (12.7) 的 公式 是 反射 系数 &. 的 一 个 块 估计 器 , 它 以 一 块 一 块 为 基础 对 格 型 滤波 器 第 m 
级 输入 预测 变量 S (OM ba - 1) 进 行 运算 。 因 此 ,可 通过 下 述 步 又 把 该 估计 器 重新 表示 
为 等 效 的 递归 结构 。 
首先 ,我 们 定义 
Eni) = Snel) P + [onal ~ YP) (12.8) 
它 是 直到 时 刻 n( 包 含 n) WH m RRA AREER RS A. 
将 式 (12.8) 中 | 六 a) + lban- 1) P 与 其 他 和 式 相 分 离 , 即 得 计算 zm-:(n) 总 能 量 的 递 
归公 式 
n-i 
Emila) = > (la DP + Bali — DP) + Sn + bln — TF 
oF nt i 1) + a-il n) + [b(n = 1) 
采用 类 似 的 方式 ,可 对 式 (12.7) 中 的 分 子 写 出 递归 公式 , 它 表示 时 闻 平 均 志 相关 


(12.9) 


È bn- -i — Dfn-i( = Son. ili FD) + Baila — Vfl) (12.10) 
因此 ,将 式 (12.9) 和 式 (12.10) 代 入 式 (12.7) ,可 重新 写 出 反射 系数 x, 的 Burg 估计 公式 





中 ”该 公式 由 Bong 在 1968 年 的 论文 中 握 出 ,Childers 在 [978 年 编辑 的 书 中 再 砍 引 用 。 
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2S bnili = 1) fal!) + gale 一 fate) 
Emil — 1) + [fara + [Baile = DF 
式 (12.11) 仍 然 不 是 计算 信 计 值 &。(z ) 的 标准 形式 。 为 了 得 到 标准 的 递归 形式 ,继续 进行 
如 下 步 又 : 


用 时 变 居 计 k,n- 1) 代替 x ,将 式 (12.2) 和 式 (12.3) 分 别 写 为 
Fl) = faln) + KNEE — Dhan — 1) (12.12) 


(12.11) 





Keln) = 


和 
Oy (2) = bmilan = 1) + kml 一 也 大 -Im (12.13) 


其 中 ,m=1,2,…, 村 。 至 于 为 什么 用 x (rn ~ 1) 而 不 用 k(n) 作 为 式 (12.12) 和 式 
(12.13) 的 正确 选择 的 实际 证 明 ,读者 可 参阅 习题 2。 
$ 将 改写 后 的 式 (12.12) 和 式 (12.13) 与 式 (12.9) 联 立 , 有 
Zbl — Fr) = bml — Df in) + fatn)bnitn — 1) 
= b,-(n — Lp(a) — Rin — bar — YY 
+ fi nba(n) 一 Rn 人 (一 了 六 到 
=~ kan — Df + bani DP) 
十 【10 + bmilan — 1) FRC) 
=~ Kan — LB, (2 — 1) + fr) + pile — LP) 
+ Ron — WE in 1) + (FRC a(t) + bain > 1 FE(n)) 
=—k,(n = Enl) + Ron Enan- 1) 
+ (h-an) baln) + mile — FR) 
用 刚刚 导出 的 关系 式 和 式 (12.7) 恒 新 定义 的 «(Cn 一 1), 可 将 式 (12.11) 的 分 子 疏 写 为 


ani 
2 È bmili — UFR) + bmilan ~ UFR) 
j= 


= — «(Ht — no 1) Kain — Enan) + Kala — Eman — 1) 
+ (fh nbn(n) + Baile — 1f) 
[oo Ky (nt oi 1)B,~1 (4) + (Fe _.(n)b,( 1) t By —i(n = L)fk(n)) 
因此 ,将 这 个 关系 式 代 人 式 (12.11) 的 分 子 并 化 简 ,可 得 递归 关系 式 
Rn = Kaln — 1) — Poon) t Paati T Dfa) mai Dan) 12,00, M (12.14) 
m-i 
为 了 最 终 确 定 梯 度 格 型 滤波 器 算法 的 表达 式 , 对 式 (12.9) 和 式 (12.14) 做 如 下 两 点 修改 
(Griffiths, 1977, 1978): 
1) 引入 步 长 参数 i MARERA- KARA FURS PET RE EO 


0 式 (12.1 人 中 反射 系数 估计 器 的 时 间 基 本 与 Critithat 1977, 1978) 提 出 的 相同 。 我 们 的 结论 从 Borg 公式 严格 推导 得 
出 ， 而 ntha JR RE n-1 Ce YOR BD Bb ay er a 
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Rig) = Rt = D = ge FS Bal) + basa = SC) m= 1,2,... (12.15) 
2) eee 12.9) KE RATT a , EES J APLAR PE Re ae PREF eS 
Eata) = BEm a(t — 1) + (L= BY final)? + me = 1)|) (12.16) 
中 8 是 一 个 介 于 0< 8<1 之 间 的 新 参数 。 
导出 式 (12.14) 的 递归 估计 器 ,原来 假设 .[ 作 在 伪 平 稳 情 况 咎 。 为 了 处 理 非 平稳 情 况 王 的 
统计 变量 ,引入 修改 后 的 式 (12.16)。 修 改 的 目的 是 使 入 计 器 具备 记忆 功能 ,并 借助 预测 能 量 
最 接近 的 过 去 值 &sn-:(n) 及 其 坝 在 值 来 计算 估 值 x, (nn) 的 现在 值 。 


12.1.2 期 望 响 应 估计 器 


下 面 转 到 期 望 响 应 din) 的 估计 ,为 此 考虑 图 12.3 所 示 的 结构 , 它 是 图 12.1 中 m 级 估计 
的 一 部 分 ,其 中 m=0,1,…, 于。 这 时 .我 们 有 由 后 问 预 测 误 关 bla), b(n), btn) 组 成 
的 输入 疝 量 { 即 回归 器 )b (rn) 和 由 相应 参数 A, ALA, Rn). ULE 
参数 向 量 , 以 产生 输出 信和 号 y(n), 它 就 是 期 望 响应 di AEE. 
后 向 预测 误 六 
‘bon biln} mirt} 


四 -一 


图 12.3 用 区 后 向 预测 序列 的 期 望 响应 怖 计 器 











对 的 估计 ,可 采用 随机 梯度 的 方法 ,并 继续 沿用 第 6.1 节 得 出 的 归 一 化 LMS 算法 。 首 
先 ,参照 图 12.3 容易 看 出 ,期 望 响 应 dtn) 的 阶 更 新 估计 定义 为 


= SCn)be(n) 
k=0 

= Sht(nyoln) + Â$(n)baln) (12.17) 
k= 


= Yma 4r) + AX (nybaln) 
相应 地 ,估计 误差 定义 为 


ea 人 2] = dln) — Yan) (12.18) 
BRIS IHERB 6 FELG- 10) BT 12.3 PREMIE ATDA m 阶 回 归 参 数 的 时 间 更 新 表示 为 
hn + 1) = halin) 十 Ib. TEET bal tee (2) (12.19) 


EP p 为 步 长 参数 , 欧 氏 范 数 平方 | b(n) ||? 由 阶 更 新 定义 为 
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bw(z) 虹 = È Joan 站 


Sch + iban (12.20) 
k=0 
= |b. (|? + jonin) 


12.1.3 GAL 算法 总 结 


式 !12.12 和 式 {(12.13) 与 式 (12.16) 和 式 (12.15) 分 细 为 GAL 算法 多 级 格 型 滤波 器 的 阶 数 
更 新 和 时 间 更 新 。 式 (12.17) 和 和 式 (12.20) 与 式 {12,19) 分 别 为 算法 的 期 望 响 应 估计 缆 的 阶 数 更 
新 和 时 间 更 新 。 所 有 这 些 都 总 结 在 表 12.1 中 , 表 中 也 示 出 如 何 对 GAL 算法 进行 初始 化 。 
如 果 要 求 GAL 算法 呈现 良好 的 收 伍 性 ,推荐 取 p <0.1。 
* 12.1 GAL 算法 小 结 





参数 ; 对 = 最 竹 预 测 阶 数 
7 常数 ,位 于 范围 (0,1) 
月 =u <0.1 
3: 小 的 正常 数 
g: 男 一 小 的 下 常数 
多 组 格 型 预测 器 : 


TF RAR m=1,2, e, M, E 
F,{0) = &y(0) = 0 
En) = a 
&,,(0} = 0 
SEM He n= 1,2, E 
fo(mi=boladeuln) w(tn)= 格 型 预测 器 输入 
对 于 预科 阶 数 om = 1,2,…; 计 和 时 间 步 4=1,2,… ,计算 
Emile) = BE, tn — 1) + (1 — PYG) + baita ~ DP) 
Ft) = faala) + RS Tb in — 1) 
belt) = by fat — tR = 一 fa br) 


Ral) = Rala ~ 1) a gA nbn) + baln 一 fhin] 


SA AHS 
TM me = 0.1, M.E 
h,,(0) = 0 


SHAT EAR n=0,1,7°, E 
yale) = & bila)’ = 
对 于 预测 阶 数 m =0,1…, 眶 和 时 间 步 = 0,1,… TE 
Fain) = os + AM nb (A) 
enfm) = d(n) — Yain} 
jbati? = lb im) 要 + 0 站 


h(n + 1) = Ay(n) + 7, [bt mee (njem) 
sooo oa e O e ee E I U 
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12.4.4 GAL 算法 的 性 质 


当 反 射 系数 局 (na ) 更 新 式 中 使 用 时 变 步 长 参数 un(a) = alë n-ne TSA TE RP 
化 LMS 算法 的 归 一 化 的 形式 。 由 式 (12.16) 可 以 看 出 ,对 于 较 小 的 前 后 向 预测 误差 ,参数 ge 。,(z) 相 
应 较 小 ;或 者 等 效 地 , 步 长 参数 ww, (m) 相 应 较 大 。 从 实用 观点 看 ,这 种 性 能 比较 合乎 需要 。 本 质 上 ， 
小 的 预测 误差 意味 着 自 适 应 格 型 预测 器 正在 为 它 所 运行 的 外 部 环境 提供 一 个 精确 的 模型 。 因 此 ， 
如 果 预 测 误差 增 大 ,应 该 是 外 部 环境 变化 引起 的 ;在 这 种 情况 下 ,能 够 对 这 种 变化 做 出 快速 啊 应 的 
自 适应 格 型 滤波 器 将 是 高 度 合乎 需要 的 。 事 实 上 ,可 通过 设 定 p(n) 为 一 个 较 大 值 来 实现 这 一 目 
的 ,这 也 使 得 GAL 算法 中 的 式 (12.15) 一 开始 就 能 够 快速 收 倒 到 新 的 环境 。 另 一 方面 ,如 果 加 到 自 适 
应 格 型 预测 器 的 输入 数据 含 噪 过 多 ( 即 有 用 信号 上 加 有 很 强 的 白 噪 声 成 分 ), 则 由 自 适应 格 型 预测 
其 所 产生 的 预测 误差 相应 就 大 。 存 这 种 情况 下 ,参数 #。_1(n) 取 较 大 值 ,或 者 等 效 地 , 步 长 参数 
p(n) 取 较 小 值 。 因 此 ,这 时 CGAL 算法 中 式 (12.15) 并 不 恰好 像 我 们 所 希望 的 那样 ,能 对 外 办 环境 的 
变化 懒 出 快速 响应 (Alexander, 1986a) . 

前 面 ,我 们 将 GAL 算 法 作为 实际 的 近似 ,其 理由 如 下 : 


e 第 3 章 在 假设 多 级 格 型 预测 器 输入 信号 uln) 来 自 平 稳 信 源 的 情况 下 ,我们 分 别 得 到 前 
后 向 预测 误差 的 阶 数 更 新 式 (12.12) 和 式 (12.13)。 为 了 对 付 非 平稳 环境 ,将 能 量 估计 喘 
修改 为 式 (12.16) 的 形式 , 它 显然 满足 条 件 。 

@ 更 重要 的 是 ,在 非 平稳 环境 下 图 12.1 所 示 的 多 级 格 型 预测 器 将 无 法 保证 通过 采用 GAL 
算法 来 保持 其 去 耦 性 ( 即 后 向 预测 误差 的 正 交 性 )。 


最 后 结果 表明 ,尽管 CAL 算法 的 收 合 性 比 LMS 算法 要 好 , 它 却 没有 本 章 其 他 部 分 要 讨论 的 
递归 最 小 二 莱 格 型 算法 好 。 但 另 一 方面 ,GAL 算法 的 实现 相对 简单 ,从 实用 角度 看 很 有 吸引 力 。 


12.2 采用 最 小 二 乘 估 计 的 阶 递 归 自 适应 滤波 器 :概述 


在 第 10 章 ,我 们 建立 了 卡尔 曼 滤 波 器 和 递归 最 小 二 莱 (RLS) 滤 波 咽 之 间 的 对 应 关系 。 本 
章 将 利用 这 一 关系 来 表示 格 型 滤波 最 基本 的 状态 空间 模型 ;以 使 在 使 用 精确 最 小 二 乘 佑 计 推 
导航 递归 自 适应 汪 波 器 算法 公式 时 ,也 能 够 利用 卡尔 曼 束 波 器 理论 的 相关 结果 。 与 CAL 自 适 
应 滤波 器 相同 ,其 他 类 型 阶 递归 自 适 应 滤波 器 也 涉及 于 前 后 向 预测 。 然 而 ,与 GAL ORR EA 
同 的 是 ,采用 最 小 二 莱 居 计 的 阶 递归 自 适 应 滤波 器 的 每 一 级 都 需要 两 个 反射 系数 ,一 个 用 于 前 
向 预测 , 另 一 个 用 于 后 向 预测 。 结 果 表 明 ,采用 最 小 二 攻 居 计 的 阶 递 轨 自 适应 滤波 器 的 基础 理 
论 更 加 严密 ,但 比 CAL 自 适应 滤波 器 复杂 得 多 。 
采用 最 小 二 姜 估 计 的 阶 递归 自 适 应 滤波 器 有 两 种 : 
1) 基于 QR 分 解 的 最 小 二 乘 格 型 (QRD-LSL) HERR CRBS OR 分 解 中 西 旋转 
的 使 用 。 妥 用 本 旋转 的 县 的 是 为 了 产生 一 个 后 阵列 以 消除 前 阵列 中 的 某 一 项 。 
2) 递归 最 小 二 茧 格 型 (LSL) 息 适应 滤波 器 ” 它 通过 将 QRD-LSL 算法 中 的 阵列 取 平 方 而 得 
到 。 平 方 的 结果 去 除了 算法 中 的 西 旋转 ,从 而 简化 了 实现 。 然 面 , 当 递 归 LSL 算法 采 
用 有 限 精度 实现 时 ,这 种 简化 会 降低 数值 的 精度 ,可 能 带 来 不 稳定 。 
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因此 ,可 以 明显 地 看 出 ,QRD-LSL 算法 是 基本 的 阶 递 妇 自 适应 滤波 算法 。 在 本 章 其 余部 分 
将 介绍 该 算法 的 推导 。 

QRD-LSL 算法 涉及 的 计算 有 以 下 几 项 ， 

© 自 适 应 前 后 向 线性 预测 器 ,它们 用 各 自 独立 的 参数 向 量 来 表征 。 

s RAS, CHIT ERAS MITRE TARA ARR 

o 最 小 二 乘 格 型 预测 器 ,和 它 的 每 一 级 用 一 对 反射 系数 来 表征 。 

© 角度 归 一 化 , 它 使 得 格 型 预测 回 的 公式 对 先 验 和 后 验 误 差 具 有 不 变性 。 

© 格 型 滤波 的 一 阶 状态 空间 模型 ,其 公式 为 导出 QRD-LSL 算法 铺 平 了 道路 。 

在 讲述 这 些 方 面 时 ,我 们 既 推 导 最 小 二 乘 格 型 形式 的 列 文 森 - 杜 宾 (Levinson-Durim 递 推 ， 
也 推导 用 A。,( zs 表示 的 某 种 互相 关 冰 数 的 时 间 更 新 递归 关系 式 。 后 者 对 QRD-LSL 算法 的 
进步 起 着 关键 性 作用 . 


12.3 自 适 应 前 向 线性 预测 


WE 12.4(a) 所 示 , 考 虑 运行 在 n 时 刻 的 m 阶 前 向 线性 预测 器 。 在 整个 观测 区 间 1s isn 
内 ,在 最 小 二 乘 意 文 下 优化 朱 头 权 向 量 wr (0) > 
fri) = u(i) — WH (n)u,(- 1) 2 (12.21) 
表示 预测 器 i 时 刻 所 产生 的 前 向 预测 误差 , 它 对 应 于 m SSA a, (1-1), RBS 
义 ,a( 让 为 前 向 线性 预测 器 的 期 望 响应 ,输入 向 量 u,(i - 1) 和 权 向 量 Ww,,{n) 分 别 为 
Unli — 1) = [uti = 1) a= 2),..., ale = mp 
和 
Wp mln) = [ty mi), Wyma Po a pm) 
我 们 将 /.(i) 看 做 前 向 后 验 预 测 误差 ,因为 其 计算 基于 前 向 预测 器 抽 头 权 向 量 的 当前 值 wy。(n)。 
相应 地 ,可 定义 前 向 先 验 预测 误差 为 
nml) = uli) — we alt — 1)u,,(i — 1} i= 1,2,...,8 (12.22) 
其 计算 基于 前 向 预测 器 抽 头 权 向 量 的 过 去 值 wi 。(n - 1)。 效 应 上 , w,( 让 是 新 息 的 一 种 形式 。 
考虑 到 RLS 算法 , 表 12.2 列 出 了 表征 一 般 线 性 估计 的 各 种 量 与 表征 特殊 的 前 向 线性 预测 
各 种 量 之 间 的 对 应 关系 。 通 过 该 表 , 可 直接 修改 第 9.3 节 和 第 9.4 节 导 出 的 RLS 算法 ,以 写 出 
前 向 自 适 应 线性 预测 器 的 递归 形式 。 我 们 具体 导出 了 前 向 预测 器 抽 头 权 向 量 更 新 的 递归 形式 
Wem) 一 Wn — 1) + Kale ~ nnn) (12.23) 
其 中 y(n) AA (12.22) isn Bt 2a) A Pe) SS GR Jk (a -1 为 下 式 所 定义 的 增益 问 
量 的 过 去 值 
k(n — 1) = a(n ontn — 1) (12.24) 
矩阵 O(n — 1) ARE EY ERE, TENA 


n-l 
b(n —1) = Sav ia, A) (12.25) 
i=l 
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刚才 描述 的 自 适 应 前 向 线性 预测 问题 是 一 种 以 抽 头 权 商 和 量 wyn (n) 表 征 的 预测 器 问题 。 
等 效 地 ,我 们 也 可 以 将 它 描述 为 如 图 12.4(b) 所 示 的 前 向 预测 误差 滤波 器 . Sa, (n) RAR m 
阶 预测 误差 滤波 器 的 Cm + 1) xl1 抽 头 权 商量 , 它 与 区 12.4{8) 中 的 前 向 预测 器 的 关系 为 


1 
a,(#) = ee (12.26) 


其 中 au(n) 的 第 一 个 元 素 anofm) 为 1、 然后 ,我 们 可 分 别 将 前 向 后 验 预 测 误 关 和 前 疝 先 验 预 


测 误差 重新 定义 为 
ffi) = fn) P= 12.058 (12,27) 


种 
nal) = abla — Vaya) = ,2,...,.n (12,28) 


其 中 ,m+1 的 输入 向 量 .1( 门 以 如 下 方式 分 全 


ea ule} 
peas = - i 


uin — 2} 





Fie) M 
RE faln) 





(b) Ri REA MiMi EE 


图 12.4 Aaa RE ee 
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表 42.2 线性 情 计 、 前 向 预测 和 后 向 预测 之 间 的 对 应 关系 小 结 











BE 线性 估计 ( -- 般 ) m PD ER tE A m 阶 后 向 线性 预测 
抽 头 输入 向 量 uta} Upin- 1} u,, (7) 

期 望 响 应 din) uin) a(n - m) 

ik AR te At wn) Wenk) Fe mkn) 

EAn aA efn) faln) bain) 

SEEM THRE Fn) nn) Batan) 

H a e i kin) k,, (2-1) k(n} 

WARE IM Canin) Fain) 入 ln) 


抽 头 权 向 量 总 fm) 满足 前 向 线性 预测 的 正 交 性 原理 , 即 
Datu, DAA = 0 (12.29) 


表 12.3 总 结 出 线性 最 小 二 乘 估计 ,前 向 预测 和 后 向 预测 的 正 交 性 原则 。 表 中 的 第 一 项 是 第 8 
章 中 用 线性 最 小 二 老 法 导出 的 式 (8.1$) 的 一 种 指数 加 权 扩 展 。 第 二 项 通过 利用 表 12.1 的 对 
应 关系 直接 从 第 一 项 得 出 。 
R129 线性 估计 、 前 向 预测 和 后 向 预测 正 交 性 原理 小 结 
线性 估计 (一 般 ] m 内 前 向 线性 预测 m 阶 后 向 线性 预测 








A 


Sar alie (i) = ü Sata, (i = TA) = ù SA oe) = 0 
1=1 al 





抽 头 权 向 量 Wi, (na WARE Isian 范围 内 对 前 向 后 验 预测 误差 加 权 平 方 和 进行 
最 小 化 得 到 的 解 , 即 最 小 化 如 下 代价 函数 


$n) = Sarde ay (12,30) 


i=l 
的 结果 。 等 效 地 ,预测 误差 滤波 器 抽 头 权 向 量 a (n) 也 是 同 -最 小 化 问题 在 满足 约束 条 人 忻 即 
满足 afa) 的 第 一 个 元 素 应 等 于 1 [根据 式 (12.26) ] 时 的 解 。 

最 后 ,将 式 (12.21) 的 定义 用 于 式 (12.30), 并 根据 式 (12.29) 的 正 交 性 原则 和 式 (12.23) 的 
递归 形式 ,我 们 得 到 更 新 的 加 权 前 向 预测 误差 平方 和 ( 即 前 向 预测 误差 能 量 ) 的 最 小 值 的 递归 
形式 

F(t) = AP — 1) + aol) mn) (12.31) 


式 中 ,对 所 有 mAn REM 加 (及 AER 


12.4 自 适应 后 向 线性 预测 


下 面 考虑 如 图 12.5(a) 所 示 运 行 在 n 时 刻 的 mm 阶 后 向 线性 预测 器 。 在 整个 观测 区 间 
1<1i<n 内 ,该 预测 器 的 抽 头 权 向 量 Ww,,,(n) 在 最 小 二 乘 意 义 下 被 最 小 化 。 令 
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bali) = ui m) -wE alali) i=1,2,....8 (12.32) 
Sean ESE i HE a RS ee 六 的 抽 头 输入 向 量 (站 做 出 响应 。 根 据 定 
尽 , 人 -于 ?为 后 向 线性 预测 器 的 期 望 响应 , 故 有 
Wali) = [ui ul- DD), ui mt) 


和 


Famn) = [Be m), Damal) s Domm) 
我 们 将 6, (i) 看 做 后 向 后 验 预 测 误差 , 因 其 计算 基于 后 向 预测 器 抽 头 权 向 量 的 当前 什 
Ws.a(n)o 对 应 地 ,我 们 可 定义 后 向 先 验 预 测 误 差 为 
Bali) = uli — m) — Wh Duath i=1,2,...,7 (12.33) 
它 的 计算 基于 后 向 预测 器 抽 头 权 向 量 的 过 去 值 Ww, (nm - 1). 


uin -m+ 1) uln 一 m) 









RRM 
RB bair) 





(b) AREAS SG RNR eS 
12.5 自 适 应 后 向 线性 预测 


表 12.2 也 列 出 表征 一 般 的 线性 估计 的 各 种 量 与 表征 特殊 的 后 向 线性 预测 各 种 量 之 间 的 
对 应 关系 。 同 样 地 ,我们 可 以 通过 这 些 对 应 关系 ,修改 第 9.3 节 和 第 9.4 节 导 出 的 RLS 算法 ， 
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写 出 自 适应 后 向 线性 预测 器 的 递归 形式 。 于 是 ,得 到 后 加 预测 此 抽 头 权 向 量 更 新 的 递归 
形式 为 


Wo mln) = Walt — 1) + kalnai) (12.34) 
其 中 (nn) 为 =n 时 式 (12,33) 定 义 的 后 向 先 验 预测 误差 。 而 
kn) = Dp (nuni) (12.35) 


是 增益 向 量 的 当前 值 ,其 中 "(4) 为 输入 数据 相关 短 阵 (忽略 了 正则 化 项 ) 
Dain) = DA (ud) (12.36) 
的 道 矩阵 。 
a rT =A A, Cn) 表征 的 后 向 预测 器 


题 。 等 效 地 ,我 们 也 可 以 借助 后 向 预测 误差 滤波 咒 描 述 该 问题 ,如 图 12.5(b) 所 示 。 令 ealn) 
表示 m 阶 预 测 误差 滤波 器 的 抽 头 权 向 量 , 它 与 图 12.5(a) 中 后 向 预测 融 的 关系 为 


e(n) ;=| ud (12.37) 


其 中 e, (n) 的 最 后 一 个 元 素 c,.,. (O81. REA mti MARE waa OC), 后 向 后 验 预测 
误差 和 后 向 先 验 预测 误差 可 以 分 别 写 为 
bali} = RW b= 1,2,...,n (12.38) 
和 
Pali) = h(n ti) i=1,2,...,n (12,39) 
在 这 种 情况 下 ,输入 向 量 u,,,1( 让 可 用 下 列 方 式 分 块 


o T eà 
0 
抽 头 权 向 量 w, (nm) 满 足 后 向 线性 预测 的 正 交 性 原则 , 即 
pee ‘unl bki) = 0 (12.40) 


这 个 式 子 ( 即 表 12.3 中 的 最 后 一 项 ) 可 利用 表 12.2 中 的 对 应 关系 ,从 线性 最 小 二 村 估计 式 ( 即 
表 12.2 中 的 第 一 项 ) 直 接 推出 。 

抽 头 权 向 量 W, , (n) 也 可 以 看 做 对 加 权 后 向 后 验 预测 误差 平方 和 最 小 化 获得 的 解 , 即 最 
小 化 如 下 代价 函数 


Bain) = SA Wi<isa (12.41) 
i=1 


的 结果 。 等 效 地 ,后 向 预测 误差 滤波 器 的 抽 头 权 向 量 6,(n) ,也 是 同一 最 小 化 问题 在 满足 约束 
条 件 , 即 c,,(n) 的 最 后 一 个 元 素 等 于 1 根据 式 (12.37)] 时 的 解 。 

将 式 (12.32) 的 定义 用 于 式 {(12.41) ,并 根据 式 (12.40) 的 正 交 性 原则 和 式 (12.34) 的 递归 形 
式 , 可 得 后 向 预测 误差 加 权 和 的 最 小 值 { 即 后 向 预测 误差 能 量 ) 的 递归 形式 如 下 
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Anla) = ABCA — 1) + Balbal) (12,42) 
式 中 ,对 所 有 m I a JRT Bn) bs (MORAER. 
在 结束 递归 最 小 二 小 预测 问题 的 讨论 前 ,信人 感 兴 趣 地 注意 到 ,在 后 向 预测 情况 下 ,从 输 
人 向 量 w,,,; (nn) 中 分 出 最 后 一 项 作为 期 望 响应 an - m); 另 一 方面 ,在 前 向 预测 情况 下 ,从 和 输 
AE ma 中 分 出 第 一 项 作为 期 望 响应 ut{n)。 辣 样 地 ,我 们 也 注意 到 , 式 (12.34) 中 后 向 
线性 预测 器 的 抽 头 权 向 量 ws (n) 的 复 新 递归 需要 知道 增益 向 量 的 当前 值 kp (n): A-A 
面 , 式 (12.23) 中 前 向 线性 预测 器 的 抽 头 权 向 量 W a m) 的 更 新 递归 需要 知道 增益 向 量 的 过 去 
fik,(n-1). 


12.5 变换 因子 


fe mx 1 [at 
k,.(7) = Dp (nuni) 
它 可 看 做 最 小 二 履 居 计 正 则 方程 一 种 特 跌 情 况 的 解 。 具 体 来 说 ,增益 向量 ke, (ET H 
滤波 器 的 抽 头 权 向 量 , 该 滤波 器 包含 天 个 抽 头 , 侧 日 对 输 人 数据 w(1),w(2),…,w(n) 进 行 运 
算 以 产生 如 下 特殊 期 望 响应 
TER Lao n] (12.43) 
的 最 小 二 乘 估计 ,其 元 素 等 于 式 (12.43) 中 di 的 mxl 辐 量 称 为 第 一 坐标 癌 量 ,该 回 量 具有 
如 下 性 质 : 它 与 任何 时 间 相 关 向 量 的 内 积 , 产 生 该 向 量 上 方 或 “最 新 "的 元 素 。 
将 式 (12.43) 代 人 式 (9.9) 可 知 , 横 癌 滤 旋 器 m 个 抽 半 输入 与 期 望 响应 之 间 的 mx 1 互相 
美 向 量 x (n) 等 于 uw (n)。 因 此 ,这 也 验证 了 增益 向 量 ku(m) 是 由 式 (12. 和 3) 定 义 的 期 亡 啊 应 
所 产生 的 正则 方程 的 特殊 解 。 
对 这 里 描述 的 问题 ,我 们 定义 情 计 误差 
Yml) = 1 — k(n)untn) 
=1— uP (n(n) 
该 估计 误差 y(n) 表 示 其 抽 头 输 和 人 权 向 量 等 于 增益 向 量 k(n) 且 其 激励 信号 为 抽 关 输入 向 
量 u,(n) 时 横向 滤波 器 的 输出 ,如 图 12.6 所 示 。 由 于 滤波 器 的 输出 上 共有 埃 尔 米 特 形 式 , 故 可 
导出 估计 误差 y, (nm) 为 实 值 标量 。 而 且 , y(n) 具有 以 0 和 1 为 边界 的 重要 性 质 , 即 
0 < Yml) <1 (12.45) 


该 性 质 很 容易 通过 以 式 (9.16) 的 递归 形式 代替 式 (12.44) 的 赣 矩 阵 Cn) REH , E 
经 简化 后 可 得 


(12.44) 


_ 1 
Ym) = 14+ Auf (a) — Luain) 





(12.46) 


该 埃 尔 米 特 形式 Ww (n)@2'(n—Du,(n) 20 BO<A <1, 因此 ,估计 误 善 y(n) 以 式 (12.45) 
为 界 。 
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值得 注意 的 十 ,y, (5) 也 等 十 图 12.6 BTA BE AE ATT A HY DA ee EHD, ED a BY 
抽 头 权 向 量 等 于 增益 向量 k, Ce), DAR BS — Ab be EY Be) = FTE OL dl 3) 





图 12.6 定义 估计 误差 y(n RR Rae 


12.5.1 Ym{nn) 的 其 他 有 用 解释 
取决 于 所 采用 方法 ,参数 y。(m) 可 以 有 其 他 三 种 完全 不 同 的 解释 : 


1) 参数 y (na) 可 以 看 做 似 然 变量 (Lee et al, 1981) ,这 一 解释 是 在 假设 输 和 人 抽 头 具 有 联 
合 高 斯 分 布 的 情况 下 ,根据 其 对 数 似 然 函 数 , 从 输入 抽 头 向 量 的 统计 公式 得 出 的 。 

2) 参数 7 ,(n) 可 看 做 角度 变量 (Lee ct al. ,1981; Carayannis et al. , 1983) ,这 一 解释 来 自 式 
(12.44)。 特 别 地 ,根据 第 11.3 节 的 讨论 ,可 将 ya Cn IGE) FRA 

¥m_(72) = cos pnln) 

其 中 外 《rn) 表 示 平 面 (Givens) 旋 转角 [ 见 臣 (11.53)] 。 

3) 参数 y (mn) 可 看 做 变换 因子 (Carayannis et al.，1983)。 根 据 这 一 解释 ,在 已 知 相应 的 先 
验 估计 误差 时 ,y。fa) 的 有 效 性 可 帮助 我 们 确定 先 验 估计 误差 值 。 


这 里 我 们 要 讨论 的 是 第 三 种 解释 。 事 实 上 ,下 是 由 于 这 一 解释 ,我 们 才 引 入 “变换 因子 "这 
一 术语 来 描述 Yak n) (s 
12.5.2 三 种 合计 误差 


在 线性 最 小 二 乘 估计 中 ,需要 考虑 三 种 类 型 的 估计 误差 :一 般 估 计 误 差 ( 涉 及 一 些 期 望 响 
应 的 估计 ) .前 向 预测 误差 种 后 向 预测 误差 。 相 应 地 , y(n) 作为 变换 因子 也 有 如 下 三 种 不 同 
的 解释 ; 
1) 对 于 递归 最 小 二 乘 居 计 
Eml) 


Emn) 





Yal) = (12.47) 
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其 中 en) 为 后 验 估计 谋 差 ,而 gan) AAR R. BH u,(n) 后 乘 式 (9.25) 
的 埃 尔 米 特 转 置 边 , 并 针对 先 验 佑 计 误 差 £n) .后 验 合计 误差 @,, (nn) 和 变量 yin), 
分 别 利 用 式 (9.26)、 式 (9.27) 和 和 式 (12. 御 ) 的 第 一 行 ,很 容易 证 明 这 一 关系 式 。 式 
(12,47) 2248 ,给 定 由 RLS 算法 计算 的 先 验 估计 误差 f(n a, P R EREA Yain), M 
定 相 应 的 后 验 估 计 误差 值 eofn)。 因 此 ,可 将 &,(n) 置 敌 计 算 sn) 的 试验 值 ,而 将 
yn ) 看 做 乘法 校 验 { 因 子 )。 

2) SF AIS we ATER tE A 

faln) 

A(t) 
通过 用 ou, (a -全 后 乘 式 (12.23) 的 埃 尔 米 特 转 置 ,然后 利用 式 (12.21)、 式 (12.22) ah 
(12.24) 和 和 式 (12.44) ,很 容易 证 明 这 一 关系 式 。 式 (12.48) 表 明 , 在 已 知 前 向 先 验 预 测 
误差 y(n) ARP ,我 们 可 将 它 乘 以 延迟 的 估计 误差 7,(n ~ 1 来 计算 前 向 后 验 预 
测 误差 £,{n)。 因 此 ,我 们 可 将 如 (看 做 计算 前 向 后 验 预测 误差 六 Cn) 的 试验 值 ,而 
将 加 (na -1) 看 做 乘法 校 验 (因子 )。 

3) 对 于 自 适 应 后 向 线性 预测 





Yalan — 1) = (12.48) 


ral) = Be 
通过 用 u,(n) 后 乘 式 (12.34) 的 埃 尔 米 特 转 置 , 然 后 利用 式 (12.32)、 式 (12.33)、 式 
(2.35) 和 式 (12.44) 的 定义 ,很 容易 证 明 这 一 关系 式 。 式 (12.49) 表 明 ,在 已 知 后 向 先 
验 预 测 误差 8.(n) 的 情况 下 ,我 们 可 以 将 它 乘 以 估计 误 善 mw ta) 来 计算 后 向 后 验 预 测 
误差 b(n). 因此 ,我 们 可 将 入 (na) 看 做 计算 后 向 后 验 预 测 误差 bn (nn) 的 试验 值 ,而 
将 加 (az) 看 做 乘积 校 验 ( 因 子 )。 

前 面 的 讨论 指出 变量 y, {nn) 的 独特 作用 :不管 是 从 一 般 估计、 前 向 预测 还 是 后 向 预测 的 
角度 ,y。(n) 都 是 先 验 估计 误差 变换 为 后 验 估计 误差 过 程 中 的 公共 因子 (常规 形式 或 者 延迟 形 
式 }。 因 此 ,我 们 可 将 (am) 看 做 变换 因子 。 实 际 上 ,值得 注意 的 是 ,通过 使 用 这 个 变换 因 于 ， 
能 够 算出 n 时 刻 的 后 验 误差 e,{n)、f,(n) 和 b(n) ,而 这 项 工作 可 在 产生 这 些 误差 的 相关 泪 
波 器 抽 头 权 向 量 实际 计算 之 前 完成 (Carayannis et al. , 1983), 


12.6 最 小 二 乘 格 型 预测 器 


下 面 ,我 们 来 看 输入 数据 的 时 移 特 性 ,根据 如 下 分 块 向 量 


Wat) = Pan 


可 以 看 出 ,m - 1 阶 后 向 线性 预测 器 的 输入 向 量 u, (n) 与 m PA RPE MN AE SA m E 
un (ORJAT m -1 项 完全 相同 。 同 样 地 ,由 如 下 分 块 向 量 





(12.49) 
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_ u(n) 
Uti) = P _ ,| 


可 以 看 出 ,m - 1 阶 前 向 线性 预测 器 的 输入 向 量 u(r -1) 和 m 阶 前 向 线性 预测 器 的 输入 向 基 
un 中 的 后 m -1 项 完全 相同 。 这 一 观察 结 朵 使 我 们 想到 了 以 下 问题 ; 随 着 预测 阶 数 的 增 
加 ,如 从 m-l RE m 阶 , 有 没有 可 能 将 前 面 计算 获得 的 结果 传递 给 m - 1 预测 阶 ? 

问题 的 答案 是 肯 害 的 ,而 且 体 现在 人 们 所 知道 的 最 小 二 乘 格 型 预测 占 的 模块 化 结构 中 。 

为 了 导出 这 一 重要 的 滤波 结构 及 其 算法 设计 ,我 们 提出 如 下 着 手 要 做 的 事情 :在 本 节 中 ， 
利用 正 交 性 原则 导出 表征 最 小 二 乘 格 型 预测 器 的 基本 方程 。 然 后 ,在 本 章 的 其 余 各 节 ,在 卡尔 
REAREA E T ,导出 设计 最 小 二 乘 格 型 预测 器 的 各 种 算法 。 

为 了 开始 此 项 工作 ,考虑 图 12.7 所 示 的 情况 , 它 涉及 一 对 m - 1 阶 前 后 向 预测 误差 滤波 
器 问题 。 两 个 滤波 器 输入 向 量 均 为 u,, (i)。 由 抽 头 权 向 量 a，;(n) 表 征 的 前 向 预测 误差 污 波 
器 ,在 其 输出 端 产 生 fai CG) BIRRA cni (na) 表 征 的 后 向 预测 误差 滤波 器 ,在 其 输出 端 
产生 bn Cie MARE &(i) 占 据 观 察 区 间 1< sa。 我 们 要 讨论 的 问题 可 表述 如 下 : 


给 定 前 向 预测 误 盖 三 . fi) 和 后 向 预测 误 盖 所 G) ,以 一 种 计算 上 有 效 的 方法 ,分 别 确 定 
FSR AE ff, (i) Fb, (i)。 













Bit (ay FR BAR 2 
EEH Ay n) 







nm 二 






后 向 预 铀 误差 


HERE Hc, (7) Pm 1) 








图 12.7 We RRR) OF HS 


我 们 说 的 “有 效 的 计算 "是 指 ;图 中 的 输入 向 量 加 上 过 去 样 值 a(; - EPR A 
测 阶 数 增加 1 ,而 处 及 请, 和 国 -:( 六 的 计算 保持 原封 不 动 。 
前 向 预测 误差 a GH zi,aG-TDaeCi-mm+l) 决 定 。 阶 数 蝎 新 的 前 向 预测 误差 
要 求知 道 另 外 的 抽 头 输入 ( 即 过 去 值 )w{i - m)。 后 向 预测 误差 bna (GDE fa (让 所 涉及 的 相同 
抽 头 输入 决定 。 因 此 ,如 果 我 们 将 5,.; (让) 延迟 一 个 时 间 单元 ,计算 六 (所 需要 的 其 他 过 去 值 
ui 一 区) 可 在 延迟 的 后 向 预测 误差 5,_1(i - 1) 的 合成 中 找到 。 于 是 ,如 果 将 如 .Ci ~- 日 看 做 单 
tisk Bey) SR BRA A H 六 :站 看 做 期 望 响应 ,而 将 所 (i) 看 做 由 最 小 二 莱 居 计 法 得 到 的 
残 差 , 则 可 写 出 下 式 [ 见 图 12.8(a)] 
Fé} = fn) + Kmail i=1,2,....n (12.50) 
其 中 xc, (nn) UB aE AEE EAR. TER RR DORK, RW x, (nD TEM i= 1 到 
i= nm 的 整个 观察 区 间 内 保持 不 变 。 对 于 运行 在 平稳 输 人 环境 下 的 格 型 滤波 器 , 式 (12.50) 的 形 
式 类 亿 于 第 3 章 导 出 的 相应 阶 数 的 蝎 新 形式 。 然 而 ,er (fn) 的 公式 不 同 。 对 于 该 系数 的 确 
E ,我 们 求助 于 表 12.3 总 结 的 线性 最 小 二 履 估 计 三 种 基本 形式 的 正 交 性 原则 。 很 据 这 个 原 
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则 ,响应 输入 bna Ci -1) 的 线性 最 小 一 乘 滤波 器 所 产生 的 估计 误差 止 交 于 整个 感 兴 坟 观察 区 
间 内 的 每 一 个 输入 (在 时 间 平 均 的 意义 上 )。 因 此 ,将 这 个 原理 应 用 于 输入 bmi Ci -1) 和 式 
(12.50) 给 出 的 线性 前 向 预测 问题 的 残 差 (i) ,可 得 


之 入 baili -1 人 0 (12.51) 
将 式 (12.5 和 ) 代 人 式 (12.51) ,可 求 出 
2a" bmili — 1)fhli) 





Kimin) = — —S > (12.52) 
DN bml - 1)| 
式 中 的 分 母 为 m -1 BE WERRILAAN, EI 
Bln 1) = En 
(12.53) 


一 Sab, ali 一 1} 
i=] 
在 上 式 最 后 一 行 中 ,我 们 已 经 用 到 下 式 
bnl) = 0 MEAT im > 1 
它 是 依靠 输 人 数据 预 加 窗 得 到 的 。 对 式 (12.52) 的 分 子 ,我 们 引 人 前 后 向 预 调 误 差 之 问 的 指数 
加 权 互 相关 定义 


An(n) = Sa Pg ald = Df) (12.54) 
将 起 (12.53) 和 式 (12.54) 的 定义 用 于 式 (12.32), 可 得 标 度 系数 的 紧 凌 形式 


A 
om 





(12.55) 


by ili — 1) 






bm 18) 加 -1 全 bn Ct) 





pd iyi Om MO geil) (5) emi 
(a) 前 向 预测 (b) 后 向 预测 (c) 联合 过 程 估计 
12.8 单 系数 线性 组 合 器 
下 面 考虑 阶 更 新 后 向 预测 误差 bn (i) 的 计算 问题 。 如 前 ,我 们 仍然 采用 前 向 预测 误差 
f,_,(i) 和 延迟 后 向 预测 误差 六 -ii - 1) ,只 是 现在 其 滤波 作用 互 换 。 具 体 而 言 ,我们 有 一 个 
单 抽 头 最 小 二 乘 滤波 器 , 它 以 六 -下 作为 输入 ,以 bi 1) 作 为 期 望 响应 ,以 bn OEA IE 
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波 过 程 的 残 差 。 也 就 是 说 ,我 们 可 以 写 出 [ 见 图 12.8(b) 

By At) = Daili 1) + eal i= 1,2,. (12.56) 
其 中 icy on (1) ADE OR ah FE AD BE AK UK RT RR DL snk, tk Kem (i) FED 
i=1 到 =n KRAER ARIAS. Mie TTP Re A SEP R ae i ae, oh 
(12.56) 的 形式 也 类 似 于 第 3 章 潮 出 的 相应 阶 数 的 更 新 形式 。 然 而 , x.。(n) 的 公式 不 同 。 特 
别 地 ,通过 将 正 交 性 原则 应 用 于 输入 -1( 引 与 起 (12.56) 给 出 的 后 向 预测 问题 的 残 差 来 确定 
ko.a(n)。 于 是 ,可 写 出 


wg Tae if oR )= (12.57) 
将 式 (12.56) 代 大 式 (12.57) AE x;., (nn) 得 
DA fb ale L) 


i=l 





Kp mit) 一 一 (12.58) 


EA nah 
PRAT ash 12.54) BE LAY A, ARIA m — 工 阶 前 向 预测 误差 加 权 平 方 和 , 即 
F(t) = ZS ft (12.59) 

因此 ,可 将 式 (12. 押 ) 重 新 写成 下 列 紧凑 形式 
Kb min) = — Fn) (12.60) 


式 (12.50) 和 式 (12.56) 所 述 的 结果 对 最 小 二 莱 格 型 预测 器 来 说 是 基本 的 表达 式 。 为 了 对 
它们 进行 物理 解释 ,定义 如 下 n x 1 预测 误差 向 量 
Ean) = [fl), Fal) s fat) 
b,,(2) = [pa(1) Da2) -s bata 





和 
bain — 1) = [0pa0 pn 一 1 
其 中 预测 阶 数 m =0,1,2,… ,以 。 然 后 ,在 式 (12.50) 和 式 (12.56) 的 基础 上 ,对 投影 理论 有 关 术 
Tea PF Ak 
D) HAE b, (2 -1 投影 到 了 _,(n) 的 结果 用 残 差 向 量 PCn) 表 示 ; 前 向 反射 系数 
rs(m) 是 做 这 个 投影 所 需要 的 参数 。 
2) PEE f (Y DL (n-DORRARZGE bn) 表示; 后 向 反射 系数 xci,n(n) 
是 做 这 小 投 形 所 需要 的 参数 。 
在 结束 这 部 分 讨论 之 前 ,我们 计算 观测 结束 时 刻 i = 的 式 (12.50) 和 式 (12.56)。 于 是 ， 
得 到 一 对 相互 有 关 的 阶 更 新 递归 关系 式 
Fol) = fin) + KF Ot baal — 1) (12.61) 
All 
baln) = baala — 1) + rh mn)fm- ln) (12.62) 
其 中 m=1,2,…, 朋 ,而 前 为 最 终 预测 阶 数 。 当 m =0 时 ,对 输入 数据 不 进行 预测 ,这 对 应 于 
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下 述 初 始 条 件 

hln) = Bola) = u(n) (12.63) 
其 中 wn) 为 n 时 劾 的 输入 数据 。 这 样 , 当 我 们 从 零 一 直到 最 终 值 村 改变 预测 阶 数 时 ,得 到 
如 图 12.9 所 示 的 MA Reb TRS HM. Ua, Beeb) Fe MP REE 


ELE eG R, RHA E BT BP SEI. 
Æ 第 时 级 
flo 


ftn) Íy) fy) 









T Byt) han) 
图 12,9 MRR WER 


bn) bír) 


12.6.1 列 文 森 - 杜 宾 递 归 最 小 二 乘 格 型 形式 


前 向 预测 误差 上 (nz) 和 后 向 预测 误差 5,(n) 分 别 由 式 (12.27) 和 式 (12.38) 定 义 , 当 i=n 

时 重 写 为 

fod} = n(n + (72) 
和 

baln) = em(n Uma) 
其 中 a (aM e nn) 分别 为 相应 的 前 向 和 后 向 预测 误差 注 波 器 的 抽 头 权 向 量 。 与 低 阶 预测 误 
差 有 关 的 前 向 预测 误差 f/,.,(n) 和 延迟 后 向 预测 误差 baln- DEWT 

fanin) = am ln) n) 


i a 
k (r) ac peal 


a SE min — 1) 


WE 
Cp = Upin = 1} 
-| 0 ín -i 让 Umar) 
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刚才 定义 的 四 种 预测 误差 具有 相同 的 输入 向量 , 即 ol (n)。 因 此 ,将 其 定义 式 代入 式 
(12.61) 和 式 (12.62) 并 比较 结果 的 两 按 ,我 们 得 到 下 面 一 对 阶 更 新 表达 式 


| N eaat | (12.64) 


== 0 Am- (7) 
Enn) = An F wol 0 | (12.65) 
其 中 ma=1,2,0, Mo (12.64) AIK ( 12.65) JB 3 章 讨 论 的 列 文 森 - 杜 宾 ( Levinson- 


Du 中 in) 递 归 的 最 小 二 球形 式 。 根 据 定 义 , 我 们 注意 到 ,c， ;ta -1) 的 最 后 一 个 元 素 和 a,_1{n) 
的 第 一 个 元 素 都 为 1。 从 式 (12. 侠 ) 和 式 (12.65) ,容易 看 出 
Ki mln) = Gin ml) (12.66) 


和 


和 

Komi) = Cn.ol ft) (12.67) 
其 中 a, (nA SE a, (nod, co (DAME ce, (n) 的 第 一 个 元 素 。 轩 此 ,在 平 
入 环境 下 ,情况 并 不 像 第 3 章 所 摘 述 的 。 人 们 通常 发 现 ,在 最 小 二 乘 格 型 预测 器 中 ,有 

Kp ml FE) z Kp mlh) 
在 任何 情况 下 , 式 (12.64) 和 式 (12.65) 的 阶 数 更 新 揭示 了 M 阶 最 小 二 莱 格 型 滤波 器 的 一 个 重 
要 性 质 : 在 含 著 的 意义 上 ,这 样 - -种 预测 器 隐 含 阶 数 为 1,2,… M 的 前 向 预测 误差 滤波 器 链 和 
后 向 预测 误差 滤波 器 链 , 它 们 者 具有 模 据 化 结构 ,如 图 12.9 所 示 。 


12.6.2 Aw_ ;fn) 的 时 间 更 新 递归 

从 式 (12.55) 和 式 (12.60) 可 以 看 出 ,最 小 二 匀 格 型 预测 器 的 反射 系数 efn) 和 局 (nm) 
中 Ai(n) Fo-1(n) 和 旬 。.1《n -IJ) 三 个 其 惟一 确定 。 式 (12.31) 和 式 (12.42) 提 供 了 后 两 个 量 
的 时 间 更 新 方法 。 为 了 递归 计算 这 两 个 反射 系数 ,需要 有 相应 的 计算 A。 (zy 的 时 间 更 新 递 


归 关 系 式 。 
为 着 手 椎 导 剩 下 的 另 一 个 递归 关系 式 ,我 们 回忆 第 12.3 节 中 关于 前 向 线性 预测 的 下 面 丙 


PARKA m-1 RET m) 


fal) z u(i) E W m-ni = 1) pS t 2, -ati 


和 


Wem = Wy mile — 1) + ky (a 一 Dna) 
将 以 上 两 式 代 人 式 (12.54) ,整理 后 得 
Ania) = DN lu) 一 We nl 一 0 | | if 一 1} bli -= 1) 


nm) = 1) Sa" a bm tl 1) 


这 个 式 子 化 简 如 下 : 
se 利用 后 向 线性 预测 的 正 交 性 原则 ,等 式 右边 第 二 项 为 零 , 即 
Saona ~ 1)baalé— 1) = 6 


446 自 适 应 滤波 器 原理 


[ 见 式 (12.40)]。 
9 根据 定义 ,等 式 右边 方 括 号 中 的 第 一 项 为 前 向 先 验 了 琉 测 误差 
Mm) = af) 一 WEL Ct - Lu, (i - 1) 7 = 1.2.... ,六 
[更 式 (12.22)]。 
因此 ,我 们 可 简单 地 将 A。,(n) 重 新 定义 为 
Amiin) = Dm ib li =) (12.68) 


Pit, TEM A AE i= AR db, inl) TESH 


A, (nt) = 之 入 mbn i 一 1) + mind, ath - 1) 


bb 
这 个 式 子 右边 的 和 式 可 以 看 做 A(n- 1) 的 过 去 值 。 因 此 ,我 们 可 最 终 写 出 

Amin) = Ai — 1) + in)ba tn = 1) (12.69) 
CRIA PRR EE BCP BI (BOSE (12.31) WB (r)i (12.69) 
式 (12.42) ,因为 这 三 个 更 新 式 中 的 修正 项 都 涉及 后 验 预测 误差 与 先 验 预测 误差 的 乘积 。 


12.6.3 最 小 二 乘 格 型 预测 器 的 精确 解 耦 性 质 

m 级 最 小 二 羔 格 型 孤 测 器 的 另 一 个 重要 性 质 是 ;从 时 间 平 均 意 闵 上 讲 , 瑰 测 器 各 级 产生 
的 后 向 预测 误差 b(n) ,b(n),… ,b(n) 在 所 有 时 刻 都 不 相关 (相互 正 交 )。 换 名 话 说 ,最 小 
二 荚 格 型 预测 髓 可 以 将 一 个 相关 输入 序列 (nn)， ut n- ly, ulu- m) | ERA PRA 


相关 的 后 向 预测 误差 序列 
{u(n).u(n — Ds ufa my} == {boln), Bila), -baln } (12.70) 

jot FB as i AER OM), BL) RRAN SER A SE Se E o 

现在 ,考虑 m 阶 后 向 预测 误差 滤波 器 。 今 滤波 器 的 (Cm + 1) x 1 抽 头 权 向 量 在 整个 时 间 区 
Misi<n 内 进行 最 小 二 乘 意 义 上 的 最 优化 ,并 用 c,(n) 表 示 , 其 展开 形式 为 

Gn) = [cm mkn) Emmat) 1 
A> b (i) a7 ERE AENEA S m+) x1 向 最 Wit 站 对 应 的 后 向 后 验 预 测 误差 ,其 
展开 形式 为 
Une (i) = [uhel i- mn) i>m 


这 样 ,我 们 可 以 将 误差 ba ORRA 
Dnli) = 人 (Js 
E 12.71) 
= Ş žalni- m+ k) Hs aa B ( 


nn 


bnili) = [Bola), bi(i), Bd bo 人] m= 0, 1, 2, aa 
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为 (m+ 了 x 1 Ge eee oa HART MALARIE, RA ice TY 
后 向 后 验 预测 误差 , 且 该 变换 关系 可 表示 为 





baili) = Lp(a Ci) (12.72) 
其 中 m+ 1) x {m+ 了) 的 变换 矩阵 
1 Q) “ 0 
Lay = cil : 7 (12.73) 
Crom) Crm 1 oo l 


3g FS ASE) PERE, PES L, (nn) 中 的 下 标 m 表示 矩阵 组 成 中 所 涉及 的 后 向 预测 误差 
滤波 器 的 最 高 阶 。 我 们 还 要 注意 以 下 几 点 : 
© 矩阵 L,(n) 中 行 1 的 非 零 元 素 用 1 — 1 阶 后 向 预测 误差 滤波 器 的 抽 头 权 值 定 义 。 
© 矩阵 L,(n) 中 对 角 线 上 的 元 素 等 于 1, 这 是 因为 每 一 个 后 向 预测 误差 滤波 器 的 最 后 拉 
LPEN 1。 
© 矩阵 L, ln) 的 行列 式 对 所 有 亚都 等 于 1, 因 此 逆 和 矩阵 L'(n) 存 在 , 式 (12.70) 中 的 互 易 
性 得 以 证 实 。 
根据 定义 ,不 同 阶 数 ( 和 吉 ) 的 后 向 预测 误差 的 相关 系数 由 指数 加 权 的 时 间 平 均 给 出 为 
nm = SAB ba) 
= DAM ef yD (12.74) 
= ef) DA ous 


其 中 上 人 fn) 为 天 阶 后 向 预测 误差 滤波 器 的 抽 头 权 向 量 , 它 用 来 产生 误差 b(n). 不 失 一 般 性 ， 
可 假设 m > k。 如 注意 到 输入 权 向 量 u, (rn) 包含 在 用 误差 5, (n) 表 示 并 用 最 小 二 乘法 优化 的 
后 向 预测 产生 之 中 , 则 根据 正 交 性 原则 容易 推断 ; 当 m > 时 ,相关 系数 ALAS. RA 
说 ,从 时 间 平 均 的 意义 上 , 当 m 关 上 时 ,后 和 癌 预 测 误 差 b(n) A 6,(n) 彼 此 不 相关 。 
这 一 重要 性 质 使 得 最 小 二 乘 估计 格 型 滤波 器 成 为 精确 最 小 二 乘 联 合 过 程 估 计 的 理想 设 
备 。 上 基体 而 言 ,我 们 可 用 图 12.9 所 示 的 格 型 结构 产生 的 后 向 预测 谋 差 序列 ,以 图 12.10 PO 
递归 方式 完成 期 望 响 应 的 最 小 二 乘 估计 。 特 别 地 ,对 于 严 阶 (级 ) ,我 们 有 
Emin) = Emain) 一 Ah- bm- ln) m=1,2...,M41 (12.75) 
该 联合 过 程 估 计 的 初始 条 件 为 
eln) = d(n) (12.76) 
参数 h(n) (m=1,2,-7 M+ DRAKA RRR RR, FR, Ay din) 
HA) SA MM RA HR ETT 
式 (12.75) 可 看 做 图 12.8(e) 所 示 的 单 阶 线性 组 全 器。 该 处 ,对 于 估计 变量 ,故意 用 i 代 车 
n, 以 便 与 图 中 的 (a) 和 (b) 两 部 分 相 一 致 。 这 里 需要 注意 的 是 ,对 所 有 leis n, b,a (DIA 
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做 输入 ,而 6,1(i) 可 看 做 期 望 响 应 。 
终 129 的 多 绿 格 漠 预 洲 器 的 后 疗程 济 误 关 


baln) bin) ae biiir) b(n) 





din) ¢,(7) e,(7) et) es 


图 12.10 采用 后 向 预 针 误差 序列 的 最 小 二 霖 估计 


12.7 角度 归 一 化 估计 误差 


上 一 节 讲 述 的 最 小 二 和 蒋 格 型 预测 器 公式 是 基于 前 向 后 验 预 测 误差 诱 (n) 和 后 向 后 验 预 测 
误差 b (na) 的 。 式 (12.61) 和 式 (12.62) 中 的 阶 递归 关系 依据 前 向 反射 系数 的 当前 值 wr (0) 
和 后 向 反射 系数 x, ,(n) 的 当前 值 来 定义 。 我 们 可 同样 满意 地 依据 前 向 先 验 预测 误差 a) 
和 后 疝 先 验 预 测 误差 8,(n) 表 示 景 小 二 乘 格 型 预测 器 。 在 后 一 种 情 涡 下 ， 可 根据 前 向 反射 系 
数 的 过 去 值 wk ,(n -1) 和 和 后 向 反射 系数 的 过 去 值 ce tn - 1) 定义 如 下 阶 递 归 关 系 

mC) = Mm) 十 Ka 人 一 下 Bo-ia 一 了 (12.77) 
Bit) = Bm—ailee — 1) + ml — 1) m1 (4) (12.78) 

从 发 展 的 观点 看 ,如 果 能 以 一 种 对 选择 后 验 或 先 验 预 测 误差 具有 不 变性 的 方式 来 表示 最 
小 二 乘 预 测 器 同 题 , 这 将 是 很 理想 的 。 我 们 通过 引 人 角 度 归 一 化 估计 误差 (angle-normalized 
estimation error) 概 念 来 达到 这 个 目标 。 在 这 一 点 上 ,考虑 到 三 种 不 同形 式 的 估计 ,我 们 引入 如 
下 一 组 m PEDIATR: 

© 前 度 归 一 化 前 向 预测 误差 ,定义 为 
Fe 








epmn) = Ya (n — 1)mm(n) = in — 1) (12.79) 
其 中 y(n - 1) 为 变换 因子 的 过 去 值 。 
+ 角度 归 一 化 后 向 预测 误差 ,定义 为 
bn 
Ep, mi”) = YR (4) Bal) z ae {12.80) 
其 中 y(n) 为 变换 因子 的 当前 值 。 
9 角度 归 一 化 联合 过 程 估计 误差 ,定义 次 
Emn) 





Emin) = Ye Ela) = (12.81) 


y(n) 
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其 中 es(na) 和 名 (na) 分 别 为 联合 过 程 估计 误差 的 后 验 值 和 先 验 值 。 


因此 ,我 们 可 将 图 12.8 中 的 前 癌 预 测 .后 向 预测 和 联合 过 程 佑 计 三 种 单 系 数 线性 组 合 器 
写成 图 12.11 所 示 的 角度 归 一 化 变形 。 


ej aml tr 





Exim Al) Ef miD Eam 1 人 一 也 


(a) 前 向 预测 fb) 后 向 预测 {c) 联 告 过程 估计 
图 12,11 单 系 数 线 性 组 合 器 的 角度 归 --… 北 形式 


使 用 “角度 ”一 词 是 因为 变换 因子 作为 一 个 角 的 余弦 (其 细节 见 第 12.5 节 )。 不 论 什么 情 
况 下 ,这 里 要 注意 的 重要 一 点 是 ,在 基于 角度 归 一 化 估计 误差 的 最 小 二 乘 格 型 滤波 算法 中 ,我 
们 不 再 需要 区 分 不 同 估计 误差 的 后 验 形式 和 先 验 形 式 ,该 方法 的 通用 性 很 剖 。 


12.8 格 型 滤波 的 一 阶 状态 空间 模型 


利用 第 12.3 节 -~ 第 12.7 节 介绍 的 背景 材料 ,现在 我 们 着 手 推 导 基于 最 小 二 乘 佑 计 的 甬 递 归 
自 适 应 滤波 器 算法 。 这 里 采用 的 方法 建立 在 RLS 变量 和 卡尔 曼 变量 一 一 对 应 关系 的 基础 上 上。 显 
然 , 为 了 进行 这 个 推导 ,需要 建立 基于 格 型 结构 及 其 联合 过 程 估 计 的 最 小 二 屁 预 测 的 状态 空间 表 
示 。 根 据 前 一 节 说 明 的 原因 ,我们 希望 依照 角度 归 一 化 估计 误差 建立 状态 空间 模型 。 
然后 ,考虑 下 面 三 种 普 - 1 阶 角 度 归 一 化 预测 误差 的 x 1 向量 
Ey m—1(1) 
er = | em) 
Ef m—1(7) 
0 
Erm- — 1} = Fem al) (12.82) 


Ep,m—i( Ft 加 1) 

Em—1(1} 
Enin) = Eml?) 
Emir) 


为 了 初始 化 最 小 二 乘 格 型 预测 器 R 
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Fna) = Bya(-l) = 8 
All 
A,,-1(9) = 0 
调节 参数 8 通常 取 足 够 小 ,以 便 能 忽略 n AIF Cn) Bn (2-1 AB, Ay, ay 
分 别 从 式 (12.30) , 式 (12.41) 和 式 (12.54) 得 出 如 下 结论 : 


1) 前 向 预测 误差 的 如 权 和 Fu。- tn) 等 于 对 应 的 角度 归 一 化 向 量 Br Ce) FAR A 


范 数 , 即 
Fr) = Efm- A ne mln) (12.83) 
其 中 
A{n) = diag[A” An ?2,...,1| 
是 nx 指数 加 权 和 矩阵 。 
2) 后 向 预测 误差 的 加 权 和 人 名。-i(a 一 由) 等 于 对 应 的 角度 归 一 化 向 量 ata -了 指数 加 
权 平 方 范 数 , 即 


Balt — 1) = El- Att - lepmlnh - 1) (12.84) 
3) BR AL ,(n) 表 示 指 数 加 权 互 相关 系数 , 它 等 于 角度 归 一 化 向 量 Bi Cn - 1) 与 
gj,。1(n) 指 数 加 权 的 内 积 , 即 
A sn) = efai — DACE m-n) (12.85) 
这 些 表 明 , ST ed Be TK 
i = m1?) 
pal”) ~~ gin = 1) 
亦 可 写 为 
7 EF mile — LACE, malt) 
e i = — E (n — LJAL — 1)esm tn — 1) 
换血 话说 , 标 度 系数 x!,(n) 可 以 看 做 将 5,1(n -1) 投 影 到 gj，,_,(n) 上 所 需要 的 系数 。 这 
也 有 暗示 着 ,将 后 验 预测 向 量 ob, Cn - 1) 投 影 到 后 验 了 预测 向 量 包 .,(n) 的 问题 ,可 用 将 角度 归 一 
化 预测 向 量 as 。,(na - 1) 投影 到 角度 归 一 化 预测 向 量 ar。itna) 的 等 效 问题 来 代替 。 对 于 将 
Po (nn) 投影 到 b(n 一 1) 的 问题 以 及 联合 过 程 估计 问题 ,我 们 也 可 以 得 出 类 似 的 结论 。 
因此 ,参考 图 12.11 所 示 的 三 种 信号 流 图 ,我 们 可 以 得 出 最 小 二 习 格 型 滤波 问题 的 三 种 m 
级 一 阶 状态 空间 模型 , 它 基 于 如 下 三 个 投影 : 


全 对 于 前 向 线性 预测 ,将 Ej,m-1(n - 1) 投影 到 Ef m+! (n}> 

e 对 于 后 向 线性 预测 ,将 fp mt (Cn) 投影 到 Er m-! (nl), 

© 对 于 联合 处 理 线性 估计 ,将 Ei ni (OREA EnC) 

于 是 ,考虑 到 第 10 章 建 立 的 卡尔 曼 变 量 与 RIS 变量 之 间 的 一 一 对 应 关系 ,我 们 可 将 最 小 
二 乘 格 型 疙 波 器 的 m 级 状态 空间 表征 分 为 以 下 三 个 部 分 : 


1) 前 向 预测 :这 时 


(12.86) 


xin + 1) = Ax, (n) 《12.87) 
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和 
VCH) = ehmal = lxil) + ria) (12.88) 
其 中 x(n) ARS ER, Baa OM) 
yin) = A eF mln) (12.89) 


br SM RS vn PAS .方差 为 1 BRL. 
2) 后 向 预测 :这 时 


Ji 二 二) = Aa nin) {12.90) 
和 
ln) = ef m1) X(N) + nin) (12.91) 
其 中 of(n) 为 第 二 个 状态 变量 ,而 第 二 个 参考 信号 (观测 ) 为 
和 (12.92) 


与 vi(n) 相 同 ,标量 浏 量 噪声 y(n THEA S 1 的 随机 变量 。 
3) 联合 过 程 舍 计 : 这 时 


aln + 1) = ann) (12.93) 
和 
PIR) = Ef mn s(n) + nr) (12.94) 
其 中 所 (ma) 为 第 三 个 即 最 后 一 个 业态 变量 ,而 相应 的 参考 信和 叶 ( 观 测 ) 为 
pin) = Aer (rr) (12.95) 
ROT ENERE (nm 是 一 个 均值 为 零 .方差 为 1 的 随机 变量 。 噪 声 变量 y(n), 
y(n) 和 vatn) 相 互 独立 。 


在 前 述 状 态 空间 模型 的 基础 上 , 表 12.4 列 出 假设 预测 阶 数 为 m - 1 时 卡尔 曼 变量 与 三 组 
最 小 二 乘 格 型 (LSL) 变 量 之 间 的 一 一 对 应 关系 。 三 组 LSL 变量 分 别 为 前 向 预测 、 后 问 预 测 和 联 








合 过 程 估计 。 
812.4 mm 级 格 型 预测 器 中 卡尔 时 变量 与 角度 归 一 化 LOL 变 最 之 间 的 一 一 对 应 关系 
LSL 变量 /参数 
FREER 前 向 预测 后 向 预测 联合 过 程 估 计 
y(n) NF m1(n) Ag am (nA — 1) rg s(n) 
a(n) es mkt ~ 1) Efm CR) EB min) 
i(n|Y,-1) A ki nn — 1) A" bey g(t — 1) Ag il ~ 1) 
Kín- 1) Am = 2) a Fn ~ 1) Nn 1) 
gin) A — 1)85 m1 — 1} AOR ae, male) at A) rp mk) 
Yaitn 一 了 Yain ~ 1) Yal”) 

r(n) yn i) Yn} mint} 





表 中 的 前 三 行 很 容易 从 式 (12.87) ~ 式 (12.95) 的 状态 空间 模型 以 太 第 10 章 的 表 10.3 所 
询 出 的 卡尔 曼 变 量 与 RLS 变量 的 一 一 对 应 关系 得 出 。 为 了 证 实 其 他 三 行 的 对 应 关系 ,我们 以 
前 向 线性 预测 情况 为 例 , 讨 论 如 下 : 
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1) 从 第 10 章 的 表 10.3 我 们 知道 ,卡尔 曼 滤 波 旨 理 论 中 滤波 状态 误差 的 相关 第 阵 与 RLS 
理论 中 输入 问 量 相 关 和 矩阵 逆 窍 阵 的 对 应 关系 为 
Kin — 1) e NPtn — 3) = A Tn — 1) 
{此 后 ,双向 箭头 表示 一 -一 对 应 关系 ,) 对 于 图 12.11{a) 所 示 现 有 问题 ,我 们 看 到 加 到 前 
向 反射 系数 的 输入 经 单位 延迟 后 为 ep。_1ti -1)。 对 于 m 一 1 阶 前 向 预测 ,我 们 有 
n-2 


一 | 
K(nz 一 lho wf a leet = ai) = A'B — 2) (12.96) 


2) 由 第 10 章 的 表 10.3, 我 们 同样 可 以 得 全 下 和 面 卡尔 曼 滤 波 器 惠 论 中 卡尔 曼 增益 向 景 与 
RLS 理论 中 增益 向 量 的 … 一 对 应 关系 
g(a) <> A k(n) 
对 于 m — 1 阶 前 向 预测 问题 ,采用 将 第 9 章 式 (9.22) 中 增益 向 量 kn) 的 定义 ,可 以 写 
出 
gin) A Mn eym tr — 1) (12.97) 
3) 至 此 ,由 式 (12,%6) 和 式 (12.97) 所 定义 的 各 项 推导 已 经 相当 简明 易 烧 。 然 而 ,对 表 12.3 
中 的 最 后 一 项 ,我 们 需要 做 更 加 细致 的 考虑 。 从 第 10.8 PUM, RASCH 
变换 困 子 y"1a) 的 值 等 于 后 验 估计 误差 ef(a) 与 先 验 估计 误差 efa) 的 比值 。 相 比 之 
下 ,图 12.11 中 第 度 归 一 化 单 系 数 模型 则 无 法 区 分 先 验 与 后 验 佑 计 误 差 。 为 了 克服 这 
一 钻 难 ,我们 进行 如 让 工作 ;首先 ,将 先 验 估计 误差 或 卡尔 曼 滤 滤器 理论 中 的 所 请 “新 
Be MH 
a(n) = y(n) — w"(n)k(n!%,_1) (12.98) 
HEE 12.4 中 的 前 三 行 ,我 们 有 如 下 前 向 预测 的 一 一 对 应 关系 
y(n) <> A" e mln) 
un) <> ef n(n 1) 
(RY d  —A Py le — 1) 
因此 ,将 上 面 的 对 应 关系 代 大 式 (12.98) 的 右边 ,我 们 得 到 
ain) <> AP gE a(t) + Ky ml 一 Wek mile ~ 1)) 
其 次 ,利用 式 (12.79) 和 式 (12.80) ,可 以 等 效 地 写 出 


a(n) e A (in = Dl) + kf 人 (一 TB 一 于) 


于 是 ,利用 式 (12.77) ,对 于 于 -1 阶 前 向 预测 ,我们 得 出 如 下 结果 


a(n) <> APY Cn 一 了 了 和 (7 (12.99) 
“FEE AS SB eB Ee RT RE RH 

e(n) = y(n) 一 w8(n)k(n| Un) (12.100) 
Hp, AARS REA 


x{n|Y,,) = Fim, n+ ifa + 1)|%,) 
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对 于 现 有 疝 题 ,变换 矩阵 为 [ 见 式 110.89) ] 

Fin + 1,8) = A? 
而 根据 支配 该 转移 和 矩阵 的 求 逆 原 则 ,在 

Fin,n +1) = Al? 
因此 ,从 表 12.4 中 的 第 三 行 

Xn 十 LIY) A ep mlr) 
如 所 期 望 的 ,可 得 出 
Rin |W) <> A" ma 
因此 ,对 于 前 网 线性 预测 ,利用 趟 (12.100) ,可 以 写 出 
e(n) er A" (eF a(t) + Kp ml ne it 一 1)) 
再 一 次 利用 式 (12.79) 和 式 {12.80) 的 关系 ,可 以 等 效 地 写 出 
eln) > A yan — (SAn) + pm) tn — 1)) 


这 样 ,根据 式 (12.61) ,对 m -1 阶 前 向 预测 ,我 们 得 出 


e(n) e A yin — 1)fs tn) (12.101) 
最 后 ,利用 式 (12.99) 和 式 (12.101 ,对 于 -1 BATT , a5 ao KF ——- ty KH 
Ym- = 1) 
rín) © yani {12.102} 


于 是 ,对 于 表 12.4 中 列 出 的 前 后 向 预测 误差 , 式 {12.96) 、 式 [12.%) 和 式 {12.102) 提 供 了 卡尔 
SPE ISL 变量 后 三 行 变量 之 闻 的 一 一 对 应 关系 。 通 过 采用 类 似 的 方法 ,可 以 得 出 刹 下 的 
后 向 预测 和 联合 过 程 估 计 的 对 应 关系 (我 们 将 它 作 为 练习 留 给 读者 ,见习 题 12)。 


12.9 基于 QR 分 解 的 最 小 二 乘 格 型 滤波 器 


在 给 出 第 12.8 节 描 述 的 最 小 二 乘 格 型 姜 波 和 第 11 章 导 出 的 平方 根 信息 (卡尔 曼 ) 恋 波 器 
的 状态 空间 模型 后 ,最 后 我 们 推导 首要 的 阶 递归 自 适 应 滤波 器 。 对 滤波 器 阵列 及 其 扩展 的 讲 
述 将 分 三 部 分 进行 ,依次 论 及 自 适 应 前 向 了 预测、 自 适 应 后 向 预测 和 自 适 应 联合 过 程 估 计 。 本 节 
采用 的 基本 工具 为 前 \ 后 阵列 变换 , 它 定义 了 式 (11.38) 的 平方 报信 息 滤 波 器 。 为 了 表示 方便 ， 
这 里 再 次 将 其 重 写 出 


MK En — 1) Al ula) 
(n| Yn pK n 1) y*(n) O(n) 
oF 1 


Kn) 0 
= | 87% {n + 1 YR n) rinja (n) 
Aaa (a) Kn) mn) 


其 中 @(n) 为 西 旋转 ,用 来 消除 前 阵列 第 二 列 中 的 第 一 个 分 块 项 “由 mp) 


(12.103) 
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12.9.1 自 适 应 前 向 预测 阵列 

为 了 使 式 (12.103) 适 合 状态 空间 方程 (12.87) ~ 方程 (12.89) 所 描述 的 前 向 预测 模型 ,借助 
TE 12.4 列 出 的 卡尔 最 变量 与 SL 变量 的 一 一 半 应 关系 (对 于 前 向 预测 ) ,我 们 可 以 写 出 m 
(Spt Ei] He A FY BEA) OP RES FE 


Ae = 2) Sygate 1) 
MDF yh =) Efon- rE) Osmi l) 


0 yala i 1) (12.104 
Bye (a — 1) 0 At) 
= P? m- (7) Ef m( 1) 


ba a(n IAA- 1) yia- 1) 
然而 注意 到 ,在 式 (12.104) 的 书写 中 ,我 们 做 了 两 件 事 : 首 先 ,从 前 .后 阵列 的 第 一 行 和 第 二 行 
中 分 别 删 除了 公共 因子 A 和 4- 信 ; 其 次 ,在 第 三 行 ,我 们 用 y(n -DD 乘 以 前 ,后 阵列 。 这 
么 慌 的 目的 是 为 了 简化 变换 的 乘积 。 
后 向 阵列 中 出 现 的 标量 加 ,1(n -人 和 pra Ce PAE LP : 
1) 实 值 量 
n-li 
Rn ils 1) = Dt ehmal 一 Lee mii — 1) (12.105) 
= AB,—1(n 一 2) 十 En 一 让 ey Le) m—1 (7 - 1) 
AIR RA Le eRe ermin- DR BARR, Bai (nm -了 也 可 
以 理解 为 后 身后 验 预测 误差 加 权 平 方 和 的 最 小 值 。 按 照 RLS 理论 Ae MF Lh 
(12.42)] 
ln 1) = AB ait 一 十 且 oa 一 1)bmiln =A 
注意 ,乘积 项 Bui (n = 17 Cn = 1) BESS, Bl 
Baala = bs ln — 1) = Baala — 1)8m-1Ct — 1} 
2) RS APB (n-1)5), RRS 
A m-17) 


Pim- kn) = Bn) {12.106) 
其 中 
Ant) = ZN ermal E Lef m-i) (12.107) 


= AA, (1 g 1) + Ep mF a Lež mi(n) 
AEA US MRE eK, LL pS m BR 
HFA cy, (rR F (Haykin, 1991) 

= An_1(n) 
Kim) =~ Bn — 1) 





Prima . (42.108) 
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式 {12.104) 中 的 2x2 和 卸 阵 为 梢 旋转 年 阵 有 1 -了 , 它 将 后 阵列 中 (1,2) 项 变 为 零 ; 即 
该 算 阵 消除 了 前 阵列 中 的 项 cnal l). 这 一 些 求 可 通过 Givens 旋转 


Eh m-i T l i m-l = 
Orm- ila — 1) = | dl Leas | (12.109) 


Si m-f a 1) Ch m—1( A 了 1} 


来 实现 , 式 中 的 余 荡 和 正弦 参数 分 别 定 浆 为 
A — 2) 








Chan-ite — J) = AP (n= 1) (12.110) 
All 
Emit — 1) 

Sbm — 1} = BE in — 1) (12.111) 

于 是 ,将 式 (12.109) 代 入 式 (12.104) ,可 得 到 如 下 更 新 关系 [除了 式 (12.105) | 
有 = Camila = DA pF n(n 1) + Shimane ~ Pep mle) (12.112) 
Ef mln) = Chm ~ Vey mb} 一 一 二 -一 yal? pt tn — 1) {12.113) 
ya (n l) S= cmtn—1 ynein — 1) (12.114) 


30( 42.105) FIsR (12.110) ~ R12. 114 aT BD TRY EBS Bee A a h] 
题 的 平方 根 信 息 滤 波 解 之 间 的 一 给 递归 关系 式 。 


12.9.2 自 适应 后 向 预测 阵列 

下 面 , 考 虚 由 状态 空间 方程 (12. 和 0) 到 方程 (12.92) 所 描述 的 后 向 预测 模型 。 根 据 表 12.4 
中 列 出 的 卡尔 到 变量 与 LSL 变量 的 一 一 对 应 关系 (对 于 后 向 预测 ) ,利用 式 (12.103) ,我们 可 以 
写 出 期 下 m 阶 最 小 二 乘 格 型 预测 器 阵列 方程 

AKU (n — 1) Ep m-1(A) Bl? (n) 0 

AM pF (2 — 1) esmiln 1) Op aa) = PS m—s{ tt) Ep, m( 7) (12.115) 

0 Wen = 1) fhln) Fail) yH (n) 

其 中 ,在 式 (12.115) 的 书写 中 出 样 做 了 两 件 事 : 首 先 ,从 前 .后 阵列 的 第 一 行 和 第 二 行 中 分 别 删 
除了 公共 因子 4 和 -下 ;其 次 ,在 第 三 行 中 ,我 们 用 yC -DRAN JEA. 这 么 做 的 
目的 同样 是 为 了 简化 变换 的 乘积 。 

出 现在 式 (12.115) 后 向 阵列 中 的 标 度 变量 8。i(na)j 和 py (BE SF : 

1) 实 值 量 5。_1(n) 为 零 灌 后 的 角度 归 一 化 前 向 预测 误差 ej ,1(n) 的 自 相 关联 数 , 即 


Fral) = SAM may nil) 
全 (12.116) 


= AB, y(n 一 1 + Ejmi EF m-i) 
a1(n) 也 可 以 理解 为 前 向 预测 误差 加 权 平 方 和 的 最 小 值 。 根 据 RIS 理论 ,可 定义 为 
[ 见 式 (12.31)] 
Fn (A) = AF _— 1) + anil) fn) (12.117) 


类 似 于 自 适 应 前 向 祯 测 HR ha-n Ex DE (BEER, 
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2) ROA (nob, BES 
Pp m-i( tt) = oy 一 (12.118) 


HARE — ERT EAUS H OR EA SK RD AY Se PE [kA A 
(12.107) 中 定义 ]。 变 量 po (OE m 阶 后 同 反 射 系数 的 关系 如 下 (Haykin, 1991) 


An-1 
Kh min) == Snn) 


Pama) (12.119) 


Bell? tn} 
FA (12.115) FAY 2 x 2 FO, (ARERR EE. CARER BL, DAEA E; BK 
矩阵 消除 了 同一 式 子 前 阵列 中 的 项 8 ,1(n)。 这 一 要 求 也 可 以 通过 Givens 旋转 


Of m(n) = ane Sei) | (12.120) 


smn) cpm) 


HEA. AP RKB THERA 
_ MP2 = 1) 








cr m-l) = FP (ny (12.121) 
Ep m—i(#) 
Spm-10h) = WP (n) (12.122) 
于 是 ,如 将 式 (12.120) 代 人 式 (12.115) ,容易 导出 如 下 递归 表达 式 
Pim- R) = Cp mala DES alt 1) + SF 18) Ep, o 1) (12.123) 
Ep, ml) = Cpm=VOP Ep, (Ft -1)- Spm CAA pk stn - 1) (12.124) 
YUR) = cr — 1) (12.125) 


式 (12,116) 和 式 (12.121) ~ 式 (12.125) 构 成 了 最 小 二 乘 格 型 意义 上 的 自 适 应 后 向 预测 问题 的 
有 平方根 信息 滤波 解 的 一 组 递归 关系 式 。 


12.9.3 联合 过 程 估计 阵列 
最 后 ,考虑 由 状态 空间 方程 (12.93) ~ 方程 (12.95) 所 描述 的 联合 过 程 佑 计 问 题 , 它 属于 m 
级 最 小 二 乘 格 型 滤波 过 程 。 利 用 表 12.4 中 列 出 的 卡尔 曼 变 量 与 LSL 变量 之 间 的 一 一 对 应 关 
系 (对 于 联合 过 程 估 计 ), 用 式 (12.103) 可 以 写 出 
NOB (n 1) Emil") PHZ (r) 0 
Mp n= 1) enitn) (Osmin) = pa_1(n) Em(n) (12.126) 
0 yH (rt) bE (Bain) yg (n) 
在 式 (12.126) 的 书写 中 ,我 们 对 前 阵列 和 后 阵列 做 了 处 理 , 这 与 自 适应 前 向 和 后 向 预测 中 相应 


方程 所 做 的 处 理 相 同 。 
在 式 (12.126) 中 ,只 有 一 个 必须 描述 的 新 变量 , 即 p(n). RTA FB (Sh ere 
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为 角度 归 一 化 后 向 预测 误差 和 角度 归 一 化 联合 过 程 估计 之 癌 的 下 相关 函数 , 即 





1 Bo, o 
Pm- n) = B (n) 2A" Ep m-1li}Em-1 (i) (12.127) 
预测 阶 数 为 m - 1 的 联合 估计 ( 回 妇 ) 参 数 hai OTE X A (Haykin, 1991) 
P(r) 
h(t) = me? (n) (12.128) 


2x2 EE O, na (na) 为 西 旋转 , 它 被 设计 用 来 消除 式 (12.126) 前 阵列 中 的 esmi (M 
为 此 ,我 们 可 使 用 与 式 (12.109) 相 同 的 Givens 旋转 来 实现 ,除了 时 移 一 个 单元 外 。 即 





Ore Le) ani (12.19) 
其 中 
oala -Pn (12.130) 
™ Buln) | 
和 
sp m1(n) = eet (12.131) 
将 式 (12.129) 代 入 式 (12.126), 即 得 如 下 新 的 递归 关系 式 
PR -1(7) = cpm (nA phala 一 1) + Sh mem) (12.132) 
和 
Emin) = 名 nen 一 Shami A? pat — 1) (12,133) 


(12.105) , 式 (12.110) 和 式 (12.111) (RB, AB on RË n - 1), HEE 12. 132) AL 12.133), 
构成 了 最 小 二 乘 格 型 意义 上 联合 过 程 帖 计 问 题 的 平方 根 信 息 滤波 解 的 一 组 递归 关系 式 。 


12.9.4 QRD-LSL 算法 总 结 
在 式 (12.104) , 式 (12.115} 和 式 (12.126) 基 础 上 , 表 12.5 给 出 角度 归 一 化 QRD-LSL 算法 小 结 了 。 





中 ”采用 阵列 来 导出 QRD-LSL 算法 的 思想 首先 是 由 Sayed 和 Kailath 在 1994 年 提出 的 。 
对 于 授 归 最 小 二 乘 估计 问题 ,基于 快速 OR 分 解 的 算法 首先 由 Cio 在 1988 年 提出 。 该 算法 的 详细 推导 过 程 由 
CinfiZE 1990 年 给 出 。 在 后 来 的 论文 中 ,Cioff 介绍 了 该 礁 导 的 几何 方法 ,实际 上 是 对 以 前 快速 横向 滤波 占 工 作 的 回 
ABA. Gm 类 出 的 算法 是 一 种 卡尔 晶 型 或 面向 矩阵 型 算 法 。 其 他 斤 亿 学 者 提出 似乎 简单 的 代数 方法 和 其 他 
形式 的 QRD 快速 RLS 算法 (Bellanger, 1988; Proudler et al. ,1988, 1989; Regalia & Bellanger, 1991). Proudler 等 (1989) 的 
论文 是 大 们 特别 关注 的 。 因 为 他 们 采用 格 型 结构 导出 了 QRD-RLS 算法 的 一 种 新 蜂 实 现 。 一 种 类 似 的 快速 算法 由 
Ling 在 1989 年 独立 给 出 ,他 采用 惨 改 的 Gram-Schmidt 正 交 化 过 程 。Shephesd 和 McWhirter 在 1991 年 讨论 了 修改 的 
Gran Schmidt 正 交 北 过 程 与 QR 分 解 过 程 之 间 的 联系 。 
Haykinf 1991) 提 出 了 QRD-LSL 算法 的 一 种 推导 ,是 建立 在 Proudler 等 (1989) Regalia 和 Belanger(1991) 等 人 人 轧 想 相 结 
侣 的 基础 上 。 具 体 来 说 ,在 推导 前 后 向 线性 预 到 问题 基于 QR 分 解 的 解决 方案 时 ,他 们 遵 德 Proudler 等 的 思想 ,而 在 
解决 联 尝 过程 居 计 疝 题 时 他 们 河 照 Regalia 和 Belanger 的 思想 。 该 方法 避免 了 Proudle 等 过 程 ( 把 前 向 线性 预测 误 
差 用 于 联合 过 程 估计 ) 的 复杂 人 性 问题 。Haykin 导出 的 QRD-LSL 算法 起 辑 上 与 常见 的 LSL 算法 非常 类 候 。 
Rontogiannis 和 Theoridia 在 1998 年 提出 了 推导 ORD 快速 算法 的 一 种 统一 方法 。 其 出 发 点 是 输 人 数据 时 间 平 沟 白 相 
3646 PEW Cholesky 逆 因 子 ,而 该 逆 再 子 利 用 QR 分 解 导出 。Rontogiannis 和 Theoridis 实际 上 提出 了 两 种 算法 :一 种 是 
固定 阶 数 的 基于 QR 分 解 的 方案 , 另 一 种 是 基于 Givens 旋转 的 阶 数 递 归 格 型 算法 。 
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表 12.5 QRD-LSL 算法 小 结 


©, (7) = eas Bae 


SA ml tt) Cyt) 





1. 西 {1Givensy 旋 转 


其 中 
a = 1) 
nei Bm (4) 
和 
aml Ft) 
Them CF} = PEP 
= fmk) RA iF | 
mae es cantn) 
其 中 
AFL p - 1) 
Crm) = Say 
AI 
eml) 
sr miat) Fin) 
2. 计算 
(DAMEA n = 1,2,… 完 成 如 下 计算 ,并 对 每 个 预测 阶 数 m1, M AEREE M ARANNA 
AMAL 2) Eemi 1) Breil — 1) 0 
a? pt min - 1) Ep m1) Brn-_itn — 1) = P? m-an) Ef mkA) 
0 Yai? ite — 1) brain- Baia — 1) yaa- 1) 


hoe Erm Vit) le i ee 0 | 


Mi pe ln 1) Cae lf = 1) Pom) Ehm) 


(Ea SHEP RA n =1,2,… 完 成 如 下 计算 ,并 对 每 个 预测 阶 数 om = 1,2,，…, 昌 +1 重 复 该 计算 (其 中 M AmA) 


二 L) ey malt) | Rin) D 
eves -1) ey ln) Jovem J eo aad 
3. 初始 化 
(a) Bn Seth tt m= 12.0 MS 
Prm-1(0) = Phm 1(O} =0 
并 对 阶 数 到 =1.2……, 肯 +1 全 
Pm (0) = 9 
(b) BSR et ma 0,1. MLS 
&,{-1) = Bald) = 6 
Fl0) = 6 
式 中 上 是 小 的 正常 歼 
(po 数据 初始 化 :对 上 = 1,2,…，, 计 算 
Erol") = ep (a) = u(n) 
{n} = d(n) 
vole} =] 


其 中 uC a) Al d(Cn) 分 别 为 n ROTA A By o 
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注意 ,对 于 前 后 向 预 测 , m= 1,2,…, 六 ;而 对 于 联合 过 程 情 计 ,m=1,2,…, 肯 +1, 上 其 中 M AR 
终 预 测 阶 数 。 也 就 是 说 ,联合 过 程 估 计 还 与 最 后 m = M+ 1 阶 的 计算 有 有 有关。 同样 需要 注意 的 
是 ,在 表 中 的 第 二 个 阵列 和 第 二 个 阵列 中 ,我们 省 略 了 涉及 变换 因子 更 新 的 特殊 行 。 这 个 要 求 
已 为 第 一 个 阵列 所 注意 。 

表 1t2.5 包 括 了 初始 化 过 程 , 它 是 一 种 软 约 束 的 形式 。 这 种 初始 化 形式 与 第 9 章 描述 的 常 
H RHIS 算 法 所 采用 的 形式 相 一 致 。 这 一 算法 选择 一 组 由 输入 数据 u(r) AB, dtn) 所 
决定 的 初始 值 , 即 

Efon} = Enol) = uin) 


和 


变换 因子 的 初始 值 选 为 
Yow) = 1 


12.10 ”QRD-LSL 滤波 器 基本 特性 


表 12.5 所 总 结 的 QRD-LSL 算 法 可 以 根据 三 个 事实 来 辨别 。 首 先 , 式 (12.104) , 式 (12.115) 
和 式 (12.126) 中 的 酉 变换 可 以 将 后 阵列 中 (1,2) 项 变 为 零 ,这 些 都 是 OR 分 解 的 例子 。 其 次 ,该 
算法 来 源 于 递归 最 小 二 乘 估计 。 第 三 ,由 该 算法 完成 的 计算 是 按 一 级 一 级 方式 进行 的 ,每 一 级 
皆 为 格 型 结构 。 出 于 这 些 事实 ,QRD-LSL 算法 具有 一 系列 令 入 满意 的 运算 和 实现 特性 : 


eRe ERB OR 分 解 所 固有 的 特性 。 
e 朗 好 的 收 误 特 性 ” 即 快 的 收 化 速 率 , 并 且 对 输入 数据 相关 和 矩阵 特征 值 的 变化 不 敏感 ,这 
是 由 算法 的 递归 最 小 二 乘 特性 引起 的 。 

@ 很 高 的 计算 效率 ”这 是 由 预测 过 程 的 模块 化 , 格 型 续 构 引起 的 。 

这 些 特征 的 独特 结合 使 得 ORD-LSL 算法 成 为 一 种 强 有 力 的 自 适 应 滤波 算法 。 

采用 一 系列 Givens 旋转 的 QRD-LSL 算法 的 格 型 结构 可 通过 图 12.12 的 信号 流 图 清楚 地 表 
述 。 特 别 地 ,该 算法 m 级 预测 器 部 分 涉及 角度 归 一 化 预测 误差 6 ,(n) 和 es,。(n) 的 计算 ,其 
中 届 =0,1,2,…, 及。 另 一 方面 ,该 算法 还 涉及 角度 归 一 化 联合 过 程 售 计 误 差 stn) 的 计算 ， 
这 里 m=0,1,2 e, Mtl SHRM AE 12.13 中 通过 信号 流 图 给 出 , 它 进一步 强调 
了 QRD-LSL 算法 所 回 有 的 格 型 特征 。 

图 12.12 中 标 有 z- 幸 的 方 框 表 示 存 销 器 ,设置 该 存储 器 是 为 了 适应 这 样 一 种 需要 : 存 销 
自 适应 前 向 预测 过 程 中 涉及 的 Givens 旋转 (操作 ) 相 对 于 联合 过 程 售 计 中 涉及 的 操作 延迟 了 一 
个 时 间 单元 。 然 而 ,需要 注意 到 ,联合 过 程 估计 还 狂 自 涉及 到 最 后 一 个 Givens 旋转 。 

从 图 12.12 的 信号 流 图 中 可 以 清楚 地 看 到 ,计算 ew,1(n) 所 需要 的 Givens 旋转 总 数 为 
OM +1. 它 随 最 终 预 测 阶 数 MM 线性 增加 。 然 而 ,与 第 9 章 描 述 的 常规 RIS 算法 相 比 , 为 了 获得 
高 的 计算 效率 付出 的 代价 是 需要 编写 更 复杂 的 算法 程序 集 。 

仔细 观察 图 12.12 和 图 12.13 中 的 信号 流 图 , 我 们 可 辨认 出 QRD-LSL 算法 中 两 类 不 同 的 
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2 RB ol Tt 
a El ee a 








p NEES rae tt 


递归 关系 式 : 


说 ,加 到 初始 值 &.。(n) 和 eso (nR M RAP Sd ERRE yy (A esula), 


1) 阶 数 更 新 (递归 ) 在 算法 的 每 一 级 ,都 要 对 角度 归 一 -化 估计 误差 进行 阶 数 更 新 。 具 体 来 
其 中 M 为 预测 阶 数 。 为 了 计算 角度 归 一 化 联合 过 程 售 计 误差 的 最 终 值 ew,;(n), 男 一 个 
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M+ 阶 更 新 序列 被 加 到 初始 值 eocn) 上 。 后 一 个 更 新 集合 斋 要 使 用 骨 度 归 一 化 后 向 预 
MRS ce Cae (ces. BOR ERE RA TAPE Ywain), 
该 平方 根 涉及 到 将 M+ 阶 更 新 用 于 初始 值 Yo*(n)。 最 终 值 ew,,(n) 的 有 效 性 使 得 它 可 
能 计算 联合 过 程 估计 的 最 终 值 ey,,(n)。 

2) 时 间 更 新 (递归 ) 算法 中 m 级 预测 占 中 输出 sa 和 sfa) 的 计算 分 别 注 及 使 用 畏 
助 参 数 prm 08) 和 ponla ,m=1,2,… ,用 。 类 似 屯 ,s(n) 的 计算 涉及 使 用 辅助 参数 
Poai(n) ,m= 上 ,2,…, 用 + 1。 这 三 个 辅助 参数 本 身 的 计算 具有 如 下 共同 特性 ; 
© 它们 都 由 一 阶 差分 方程 控制 。 

e 方程 的 系数 部 是 时 变 的 。 对 于 指数 加 权 ( 妇 和 和 1) ,这 些 系数 的 绝对 值 为 1。 因 此, 方 
程 的 解 收敛 。 

© 起 激励 作用 的 项 由 某 种 形式 的 估计 误差 表示 。 

© 通过 预 加 窗 的 方法 , 当 mn<0 时 ,三 个 参数 都 为 零 。 
[I,m = 1,2,…，, 弄 时 的 辅助 参数 局， 和 pa (EAR m=0,1,…, 机 时 的 
参数 p, (nn) 可 以 通过 时 间 弟 归来 计算 。 

最 后 且 或 许 最 重要 的 是 , 表 12.5 总 结 的 角度 归 一 化 ORD-LSL 算法 对 于 整个 递归 最 小 二 乘 

格 型 (LSL) 算 法 的 导出 起 着 核心 作用 。 这 是 因为 所 有 采用 后 验 估计 误差 或 先 验 估计 误差 (或 者 
它们 的 组 合 ) 的 其 他 现 有 递归 LSL 算法 都 可 以 看 做 是 QRD-LSL 算法 的 改写 。 这 个 表述 的 正确 
性 将 在 后 面 的 第 12.12 节 中 证 明 ,并 在 第 12.13 节 讨 论 了 两 种 不 同 的 递归 LSL 算法 。 
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12.13 计算 ORD-LSL 算法 归 一 化 变量 的 信号 流 图 
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Chant) 
tc) 角度 归 一 化 联合 仁 理 居 计 误差 Enin) 
图 12.13 计算 9RD-15L 算 法 妇 -- 北 变量 的 信和 号 流 图 { 续 }) 


12.11 自 适应 均衡 的 计算 机 试验 


在 这 项 计算 机 试验 中 ,我 们 研究 QRD-LSL 算法 用 于 有 失真 线性 信道 的 自 适 应 均衡 问题 。 
信道 的 参数 与 第 9.8 节 中 研究 RIS 算法 的 类 似 应 用 时 相同 。 实 验 销 果 可 以 帮助 我 们 进行 与 标 
准 RLS 算法 的 比较 ,并 对 阶 递归 算法 的 性 能 做 出 评价 。 

这 里 研究 的 QRD-LSL 算法 的 参数 与 第 9.8 节 中 的 RLS 算法 完全 相同: 


e 数 加 权 因 子 ， A=1 

© PNRA: M =10 
ome:  M+l=ll] 
e 归 一 化 参数 ; =0.004 


我 们 对 式 (5.130) 中 定义 的 四 个 不 同 信道 参数 值 ( 即 W = 2.9.3.1.3.3 和 3.5) 进 行 了 计算 
机 模拟 。 这 些 W 值 分 别 对 应 于 带 道 输出 (均衡 器 输入) 相关 竹 阵 及 的 下 列 特 征 值 扩散 度 ; 
YX{ 有 ) =6.0782、11.1238、21.7132 和 46.8216。 信 道 输出 端 测 得 的 信 品 上 比 为 30 dBt 关 于 试验 的 
更 多 细节 ,读者 可 参阅 第 5.7 节 和 第 9,8 节 )。 


12.11.1 学 习 曲 线 


图 12.14 纵 出 当 信 道 参 数 取 四 种 不 同 值 { 下 =2.9、3.1、3.3 和 3.5) 时 QRD-LSL 算法 的 学 习 
曲线 。 通 过 对 最 终 预测 阶 数 M = 10 进行 200 次 独立 的 试验 ,再 对 最 后 的 先 验 估计 误差 ( 即 新 
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息 项 Jan) 的 平方 值 取 集 平均 ,得 到 每 -- 条 有 曲线。 为 了 计算 y(n) RAAH m= MLA 
用 式 (12.81) ,于 是 有 


Et 

vite) 

HP, eua O NARH- ERARE BS A, re ,为 相关 的 变换 因子 。 
MF EE HUE, — BR HSE ee, QRD-ISL 算法 与 BIS 算法 的 学 习 曲 线 的 路 

径 实 际 上 是 相同 的 。 这 一 关系 通过 比较 图 12.1458 9.6 中 的 曲线 很 容易 验证 {在 这 两 种 情 

况 下 ,都 采用 双 精 度 算法 ,这 祥 有 限 精 度 效 应 可 以 忽略 )。 


Émil) = 














一 T -rm T T. 


T f “T m 











图 12.14 自 适 应 均衡 实验 中 的 QRD-LSL AEFI EA 


需要 注意 的 是 , 当 计算 图 12.14 的 中 曲线 时 ,在 初始 化 阶段 ,计算 新 息 项 6,1(n) 时 不 考 
虑 变换 因子 yi,1(n) 固 有 的 退 态 变化 的 影响 。 


12.11.2 变换 因子 


在 图 12.15 中 ,我 们 示 出 了 四 种 变换 因子 Yn,,(n) 的 集 平 均 ( 对 于 最 后 一 级 ) 与 选 代 次 数 
之 间 的 关系 , 它 对 应 前 面 指 定 的 四 个 不 同 的 特征 值 扩 散 度 x(R)。 图 中 画 出 的 曲线 通过 对 
Yy. (EFF 200 次 独立 试验 并 取 集 平均 获得 。 值 得 注意 的 是 ,在 初始 瞬 态 结束 后 ,变换 因子 
OSB Hy BL yn7] 随 时 间 的 变化 规律 遵循 以 下 所 谓 的 逆 定 律 (已 被 逼近 证 实 ) 


Elym(n)] = 1 oe YF =1,2,...,.M + 1idasm 


这 一 方程 提供 了 对 图 12.15 所 示 实 验 计算 曲线 的 良好 拟 合 ,特别 是 当 n TR m =M + 
大 很 多 的 情况 下 。 读 者 可 以 检验 拟 合 结果 的 正确 性 。 同 样 需 要 注意 的 是 , 当 oa lO ee 
得 到 的 变换 因子 yy. (m) 昌 线 对 均衡 器 输入 相关 矩阵 特征 值 扩散 度 的 变化 不 敏感。 


464 Ait © UK BRE 






























a ee f 
= Shee 
| i 
0.9 rc a J 
üA J 
0.3 上 了 
Gb 
# 
W 
g 05H 
a : 
Tul 
B- 0.4 
x 
03 | J 
02 
th 
0 L ! taba es i Ty eae 1 
0 20 4 ü a0 100 120 140 150 180 200 
ERR n 


图 12.15 变换 因子 六 (my 对 于 不 同 特征 值 扩散 度 的 集 平 均 


12.11.3 脉冲 响应 


在 图 12.16 中 ,我 们 画 出 经 = = 500 次 选 代 后 自 适应 均衡 器 脉冲 响应 对 于 四 个 特征 值 扩 散 
度 中 每 一 个 的 集 平 均 结果 。 如 前 ,实验 中 集 平 均 通 过 200 次 独立 试验 得 到 。 对 于 所 有 实际 情 
况 ,QRD-LSL 算 法 的 结果 很 难 与 信道 脉冲 响应 相应 理论 值 区 分 。 


12.12 KARMA REN RAR) CRABS 


在 一 般 意 义 上 ,递归 LSL 算 法 族 可 以 分 为 两 个 子 类 ;涉及 使 用 百 旋转 的 算法 和 不 涉及 使 用 
西 旋转 的 算法 。 后 者 的 一 个 著名 算法 就 是 采用 后 验 估计 误差 的 递归 LSL 算法 (Mord, 1974; 
Morf & Lee, 1978; Lee et al. ,1981)。 算 法 中 所 用 的 估计 误差 用 后 验 前 向 预测 误差 faln) .后 验 
后 向 预测 误差 六 (mn) 以 及 后 验 联合 过 程 佑 计 误差 6e, (nn) 来 表示 ,其 中 m=0,1,2,…, 衣 ,其 信 
导 流 图 如 图 12.9 和 图 12.10 所 示 。 

根据 表 12.5 中 的 ORD-LSL 算法 来 导出 基于 后 验 佑 计 误 差 的 递归 ISL 算法 (就 此 而 论 ,还 
有 其 但 递归 LSL 算法) .可 采用 以 下 两 个 简单 的 步 野 ， 


e 对 涉及 自 适 应 前 向 预测 . 自 适应 后 向 预测 和 自 适 应 联 会 过程 估计 的 三 个 QRD-LSL 算法 
阵列 取 平 方 ,以 使 完全 消除 算法 中 西 旋转 的 影响 。 
e 保留 并 比较 所 产生 的 阵列 两 边 的 革 些 项 (取决 于 所 用 的 算法 )。 


第 11 章 根 据 平 方 根 自 适应 滤波 器 介绍 了 这 一 过 程 的 一 些 例 本。 
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图 12.16 不 同 特征 值 分 布 情况 下 自 适 应 均衡 器 的 集 平均 脉冲 响应 


将 前 面 的 过 程 用 于 表 12.5 中 描述 角度 办 一 化 QRD-LSL 算 法 的 三 个 阵列 ,并 将 结果 用 后 验 
估计 误差 表示 ,我 们 得 到 下 而 三 类 递归 关系 式 : 


1) 自 适 应 前 向 预测 








|b -1(n 一 uF 
P-an 一 1) = AB,,-1(n 一 2) 十 DT (12.134) 
bmi — Ifan) 
Amin) = AAg—(t — 1) + y in- 1) (12.135) 
A m-n) 
Kp nl) = — B, (in 1) (12.136) 
fol) = f(t) + KF mn) bm — 1) (12.137) 
_ [bln = nF 


Ti 一] 二 mc 一 Ban (12.138) 
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注意 ,在 第 二 行 中 ,我 们 利用 了 式 (12.106) 中 给 出 的 A,_1(n) 和 和 py,。_1(n) 之 间 的 关系 ; 
在 第 三 行 中 ,利用 了 式 (12.108) 给 出 的 前 向 反射 系数 wj (nn) 的 定义 。 
2) 自 和 运 应 后 向 预测 





l ; [fn 
A) = AF- — 1 i 
dn) = AF if ) + aAa- i] (12.139) 
O Amale) 
Kp mln} = Fan) (12.140) 
b,,(#) = Dr iff a 1) + KÈ mA) fini (72) (12.141) 


这 里 ,在 第 二 行 中 ,我 们 利用 了 式 (t2.118) 中 给 出 的 A。 A pi nn I CIBER; 
在 第 三 行 中 ,利用 了 式 (12.119) 纵 出 的 后 向 反射 系数 心 HEM, 
3) HR RMS H 
bn_itn)em_1(n) 








Rm-(h) = En-tF — 1) + (12.142) 
h(n) = ae (12.143) 
EmA) = emt) 一 Bs) O 1) (12.144) 
其 中 zn-1{n) 依 照 pa (EXA 

rmt(n) = Bn Pelt) (12.145) 

而 联合 过 程 回归 系数 hai Ce AER p(n ESA 
hm_1(n) = a (12.146) 

Rn) 


12.12.1 采用 后 验 估 计 误 差 的 递归 LSL 算法 小 结 

表 12.6 中 列 出 了 构成 递归 15SL 算 法 (基于 后 验 估计 误差 ) 的 时 间 更 新 和 阶 数 更 新 的 全 面 
总 结 。 由 于 表 中 总 结 的 1SL 算 法 在 某 些 步骤 需要 除 以 更 新 参数 ,因而 必须 注意 保证 这 些 参 数 
值 不 能 取得 太 小 。 除 非 使 用 高 精度 计算 机 ,否则 妇 一 化 参数 值 5 的 选取 [决定 了 初始 值 go(0) 
HB0) ] 会 对 LSL 算法 的 初始 阴 态 特性 产生 严重 影响 。Friedlander( 1982) 就 此 提出 采用 某 种 
形式 的 门限 ,如 果 在 LSL 算法 的 任何 计算 中 除数 小 于 预 给 的 门限 , 则 涉及 该 除数 的 相应 项 置 
零 、 这 种 方法 也 适合 于 其 他 形式 的 递归 LSL 算法 {如 后 面 表 12.7 中 总 结 的 情况 )。 


12.12.2 递归 LSL 算法 的 初始 化 


为 了 对 采用 后 验 估计 误差 的 递归 LSL 算 法 进行 初始 化 ,我 们 从 最 简单 的 零 阶 预测 器 出 发 ， 
于 是 有 [ 见 式 (12.63)] 
fol) = b(n) = u(n) 
其 中 uln) 为 n 时 刻 格 型 预测 咒 的 输入 。 
璋 余 的 零 阶 初始 值 为 后 验 预 测 误差 加 权 平方 和 。 具 体 而 言 , 在 式 (12.31) 中 令 m=0, 有 
Poln) = AFoln — 1) + la (12.147) 


类 伏地 ,在 式 (12.42) 中 令 m =0, 有 


第 12 章 阶 递归 自 适 应 滤波 器 467 





Boln) = ABR — 1) + leia) (12.148) 
#12.6 FAM ATRE MBE LSL 算法 小 结 











HM: 
RE n= 1,2, R me a 120+, MI CRP A se a BPE BE) 
bs MR VF) 





Am iC) = AAmir — 1) + 








TI 一 
_ bt = DE 
Bye ~ 1) ~ AB, {n 2) t Ym ifn _ 1) 
— az , lfa n 
Fpiln) = AF (m= 1) + T 


A, {n} 
Bani = 1) 


Am (n) 

sanla) == a) 
Sekn) = fa ht) + KR (it iC — 1) 
baln} = By — 1) + Kimm- CF) 


baa — 1) 
Yal = 1) = Yata = 2) — a 


Kimin) 一 一 


wE: 
对 nm=12.3… 计 算 下 =12 e MA RANES 


taln) = 内 At _ 1) + 已 Te 





ymin) 
F aiir) 
haath Bn) 
eral Ft) = Gmail) 一 ARAB, la) 
初始 化 : 
1. 对 竺 法 初始 化 , 即 在 * =0 时 刻 , 令 
nt0 = 0 
FO} = 8 
Baill) =ë = 小 的 正常 数 
Yot0) = 1 
2. ER nel Pe SR eR 
fan) = b(n) = u(n) ` 
Fan) = Won) = 40fn — 1) + jela) 
yn- 1y= 1 
3. WTA RH E a =0 AL AAE Ee 
Aal} = 0 
在 每 个 时 刻 nal PEER 
e(n) = din) 





对 于 以 0 各 1 为 界 的 变换 因子 y (2-1) ASO Se eor LAA 
Yoln — 1)=1 (12.149) 


为 了 完成 前 向 和 后 向 预测 算法 的 初始 化 ,可 在 n =0 处 应 用 如 下 条 件 
A,,-:(0} = 0 (12.150) 


468 自 适应 滤波 器 原理 





和 
Fn (0) = ll) = 4 (12.151) 
小 的 调整 参数 3 FERS EK 更, oE RETE, 
最 后 转向 对 联合 过 程 估计 进行 初始 化 。 邓 于 零 阶 预测 ,有 
ean) = d{n) 
其 中 dCn) 为 期 望 响应 。 于 是 ,为 了 对 这 一 部 分 进行 切 始 化 ,我 们 对 每 一 个 时 刻 ,产生 一 个 
en(nR)。 为 了 完成 联合 过 程 居 计 的 递归 LSI 算 法 ,在 n=0 时 刻 , 令 
Rm (0) =0 WE m=1,2,...,M@41 
表 12.6 包括 了 刚才 描述 的 递归 LSL 算法 的 初始 化 。 


12.13 采用 带 误差 反馈 先 验 估计 误差 的 递归 LSL 滤波 器 


在 这 一 节 , 我 们 来 导出 递归 LSL 算法 ,该 算法 有 两 个 方面 不 同 于 第 12.12 节 的 算法 。 首 
先 , 它 基于 先 验 估计 误差 ;其 次 ,反射 系数 和 联合 过 程 估计 系数 都 是 直接 导出 的 。 当 使 用 有 限 
精度 算法 实现 时 ,后 者 具有 重要 的 实际 意义 。 
该 算法 称 为 带 误差 反馈 的 先 验 估计 误差 的 递归 LSL 算法 (Ling & Proakis, 1984a; Ling et 
司 .，1985)。 为 了 得 到 这 一 算法 ,我们 可 以 采用 下 面 两 种 方法 之 一 : 
1) 将 平方 步骤 应 用 于 QRD-LSL 算法 的 展开 形式 。 
2) 应 用 卡尔 曼 滤 波 器 理论 连同 卡尔 曼 变 量 与 LSL 变量 之 间 对 应 关系 的 表 10.4。 
我 们 将 遵照 第 二 种 方法 ,因为 它 既 深刻 又 相当 简单 明了 。 第 一 种 方法 在 Haykin( 1996) 的 
著作 中 有 介绍 。 l 
为 了 继续 得 出 该 算法 ,我 们 首先 回忆 卡尔 曼 滤 波 器 的 状态 更 新 方程 ,在 这 里 将 其 重 写 如 下 
ifn + 1Y) = A Pilni Yi) + ginal) (12.152) 
( 见 表 10.4 中 的 第 三 行 )。 其 次 ,我 们 注意 到 m -1 阶 前 向 预测 情况 下 卡 条 受 滤 波 器 与 LSL I 
波 器 变量 之 间 的 对 应 关系 
去 (| 到) An 一 1 
en)  ATPB Ct — Ley mila — 1) 
a(n) © AMP yn — Lat (an) 
[ 见 表 12.4 中 的 第 三 行 以 及 式 (12.97) 和 式 {12.99)]。 将 这 些 对 应 关系 代入 式 (12.132), 并 利 
用 式 (12.80) 消 去 公共 项 ,可 得 





Kp mH) = Kym — 1) — (rat eo n(n m=1,2,...,M (12.153) 
现在 我 们 可 直接 根据 阶 数 更 新 先 验 前 向 预测 误差 (nn) 和 延迟 的 先 验 后 向 预测 误差 
8._1(n 一 1) 弟 归 计 算 前 向 反射 系数 。 从 式 (12.77) 中 我 们 发 现 , pa (RF Co-lo H 
此 可 见 , 式 (12.153) 右 边 的 第 二 项 将 误差 反馈 应 用 于 «(mn HITE. 

以 类 似 的 方式 继续 进行 下 去 ,我 们 可 以 证 明 ,计算 预测 阶 数 为 m- 1 的 后 向 反射 系数 的 相 
应 递归 关系 式 为 
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Kamla) = k(n — 1) — (= tro > et =) psn) m=1,2,..,M (12.154) 


PSE AY EAR SO OR ee A ee 


hig) = fy. s(t 1) + Ga eerste 2 m= 1,2,...,M +1 (12.155) 


式 (12.153) ~ 式 {12.155) 中 右边 等 式 第 二 项 外 括 导 内 的 景 分 别 起 着 前 向 预测 .后 向 预测 和 联 
合 过 程 箔 计 增 益 因 闻 的 作用 。 式 (12.154) 和 式 (12.155) 的 推 蛙 留 做 习题 (见习 题 9)。 
12.13.1 采用 带 误 差 反馈 的 先 验 估计 误差 的 递归 LSL 算法 总 结 

表 12.7 给 出 带 有 误差 反馈 的 递归 LSL 算法 前 .后 向 预测 部 分 以 及 联合 过 程 佑 计 部 分 的 计 


算 公式 。 表 中 各 项 说 明 如 下 。 
312.7 采用 带 误差 反馈 先 验 佑 计 误 差 的 递归 LSL 算法 小 结 











cls ] 这 ,3,… ,计算 m=1,2,…, 上身 时 的 各 阶 更 新 (其 中 时 为 最 小 SRE Se Ae ee) 
Fit) = AF at 1 H Fak ht (zz 下 
Bn — 1) = Ma sn 2) + ymin — DB in 一 1 
Mal) = Amil) + KE tn — 1) Bm s(n 1) 
Baln) = Baita — 1) + Emin — lym ila) 
Ym — DB tn 1) ， 











Ky mit} = Kf miM 1) Bar = 1) - Wel} 
mn — liye 
ko nn) = antn = 1) = PE DC pu 
2 dn — TB tn - 1) 
Yml" 一 1) = ym- 一 1 at 7 n De = ] 


BEE : 
ttn = 1.2.3, A mal.2e ,+ 1 时 各 阶 的 更 新 
Emn) = Ema) 一 


Adit} = Rm 1) + * vega tn (mn) 





初始 化 : 
L 对 算法 初始 化 , 即 在 n = OT, > 
F0) = 6 
&,,-4(-1) = 6 
(0) = anlO) = 9 5= 小 的 正常 数 
{0} = 1 


2. HAMNA nal EENE 
mln) = poln) = u(n) , 
Foln) = Moln) = Moln — 1) + jun) 


yoln — 
3. 对 于 联合 过 程 估计 ,在 a = ORI, > 
hail0) = 0 


在 每 个 时 刻 #1, 产 咎 零 阶 变量 





1) 预测 
o 第 | 行 和 第 2 行 来 自 趟 (12.31), 式 (12. 和 2), 式 (12.48) 和 式 (12. 和 9) 的 结合 。 
e 第 3 行 和 第 4 行 分 别 为 式 ({12.77) 和 式 {12,78) 的 重复 。 
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e 第 5 行 和 第 656 行 分 别 为 式 (12.153) 和 式 (12.154) 的 重复 。 
se 最 后 ,第 7 行 来 自 等 式 (12.49) 和 式 (12.138) 的 结合 。 
2) 滤波 
© 8 1 行 来 自 式 (12.47) 、 武 (12.49) 和 式 (12.75) 的 结合 。 
© 第 2 行为 式 (12.155) 的 重复 。 
3) 初始 化 初始 化 条 件 基本 上 相同 于 表 12.6. 


12.13.2 两 种 递归 LSL 算法 的 比较 
图 12.17 给 出 第 二 种 递归 LSL 算 法 的 信号 流 图 , 它 强调 了 在 n 次 迁 代 中 涉及 到 的 变量 ( 即 
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先 验 前 向 预测 .后 向 预测 和 联合 过 程 佑 让 误差 ) 的 阶 数 更 新 需要 知道 前 n -1 次 迭代 中 前 向 反 
射 系数 .后 向 反射 系数 和 回归 系数 的 有 关 知 识 。 

# 12.6 和 表 12.7 总 缚 的 两 种 递归 [ISL 算法 之 间 的 一 个 重要 区 别 是 反射 系数 与 和 回归 系 
数 的 更 新 方式 的 不 同 。 对 于 表 12.6, 更 新 是 闻 接 完成 的 。 首 先 ,我 们 计算 前 向 玩 油 误差 与 延 
迟 的 后 向 预测 误差 之 局 的 互相 关系 数 ,以 及 后 出 预测 误差 与 联合 过 程 佑 计 之 间 的 互相 关系 数 。 
其 次 ,我 们 计算 前 向 预 洲 误差 煌 权 平 方 和 ,以 及 后 向 误 盖 加 权 平 方 和 。 最 后 ,通过 将 预测 误差 
加 各 平方 和 除 以 互相 关 ( 系 数 ) ,得 到 反射 系数 和 回归 系数 。 相 反 , 表 12.7 中 的 反射 系数 和 回 
归 系 数 的 更 新 是 直接 完成 的 。 这 里 所 描述 的 直接 时 新 形式 与 间接 更 新 形式 之 间 的 区 别 , 对 这 
些 [SL 算法 的 数值 特性 具有 重要 的 影响 。 该 问题 将 在 第 13 章 有 限 精度 效应 的 基础 上 进行 详 
细 讨 论 。 

最 后 要 说 明 的 依次 是 , 表 12.1 中 的 GAL 算 法 可 以 看 做 下 面 特 殊 情 况 下 表 12.7 中 递归 LSL 
算法 的 简化 形式 (见习 题 20) 

1) 对 所 有 的 m 和 5, 取 后 向 反射 系数 x, (#) 等 于 前 向 反射 系数 xy, (nr) RB. 

2) 对 所 有 的 m 和 n, 取 变换 因子 y, (rn) EF Lo 

DE n 步 ,以 一 种 特殊 的 方式 调整 GAL 算法 中 的 反射 系数 «, ,使 之 与 yn} 和 gn) 

中 的 相应 调整 有 关 。 


12.14 递归 LSL 滤波 器 和 RLS 滤波 器 的 关系 


在 解决 阶 递归 自 适 应 滤波 器 的 联合 过 程 佑 计 问题 中 ,我 们 已 经 看 到 如 何 推广 最 小 二 委 预 
WRU AA AAT BRR Ta HRA h(n) Ay (nds, 
hy (ne) } ,这 组 系数 被 加 上 由 后 向 预测 误 益 | 加 (na) b(a) be (ne) Lt ea A AA CL 
12.10)。 在 看 出 这 组 后 向 预测 误差 与 抽 头 输入 集 | uC(n) ,uln 一 1),…,u(n 一 机 | 之 间 存 在 的 
一 一 对 应 关系 [如 式 (12.70) 所 示 ] 之 后 ,我 们 希望 找到 LSL 回归 系数 序列 与 最 小 二 乘 抽 头 权 系 
数 集 [won) ,aitn) ,wu(n) | 之 间 的 对 应 关系 。 本 节 和 的 目的 就 是 淘 了 正式 导出 这 一 关系 。 

为 此 ,考虑 图 12.18 所 示 的 抽 头 延迟 线 或 模 向 滤波 器 结构 。 对 m 阶 情况 SRA ula), 
u(n- ee ulna- mm) 直接 从 过 程 w(n) 得 到 ; 抽 头 权 系数 wln), w in), s Wna (n) HRH 
造 各 自 的 标量 内 积 。 从 第 8 章 已 经 知道 ,由 元 素 wo(n) ,wn),…, 世 ,(n) 组 成 的 (m+1) x1 
抽 头 权 向 量 Ww, (n) 定 义 为 

® 4: (0) wan) = tno (tt) (12.156) 
其 中 ®@,,,(n) 为 抽 头 输入 (m+ 1) x Cm + DARE, Zaa O A A LA OB 
Sam + 1) x1 互相 关 矩 阵 。 用 两 种 方法 格 改 式 (12.156):(1) 用 一 个 (mt+1) x Cm + 1D 
三 角 恋 换 和 矩阵 工 《nm) 左 乘 等 式 的 两 边 ;(2) 在 等 式 左 边 的 Oni (mn ) 与 向 量 wo。(n) 之 间 捅 人 一 
ASG +1) x Gn + ANE Ds LE (nL "(n) > EE L, Cn) Xk 12.73) BA BEA 0,1,2, 
.… m UES aL TU SEE ALDAKE. L” ERME Ln) RAR OR RS 
置 。 于 是 ,可 以 写 出 
Lr) Ba LE LA (2% (A) = Lalm) (12.157) 
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对 于 式 (12.157) , 现 令 
Dntln) = L, (7) Pn (LE Gr) {12.158} 


ulan M +i) 





diny) 


图 12.18 对 估计 期 望 响 应 的 常规 机 向 滤波 器 


然后 ,利用 后 向 线性 预测 增 广 正则 方 各 式 可 以 证 明 , 怀 积 项 外. CL RP SA 
阵 , 其 对 角 线 元 素 等 于 各 个 后 验 预 测 误 差 加 权 平 方 和 , 郧 入 (nn), 哆 (nn),…, 久 n(n)( 见 习题 
15). HEE FEL, (n) 为 对 角 线 元 素 和 皆 为 1 的 下 三 角 和 矩阵 。 从 而 ,LL Cn) 5 ®,., (0) 
了 (az 的 匀 积 也 是 一 个 下 三 角 和 矩阵 。 我 们 也 知道 , La) 为 上 三 角 上 矩阵 ,以 致 于 告 阵 习 积 
L,,(n)®,,.(n) WE b=, FEL, 8... (2) 5 到 (na) 的 乘积 是 一 个 上 三 角 垂 阵 。 
换 句 话说 ,D,,,{n) 既 是 上 三 角 仿 阵 也 是 下 三 角 和 矩阵 ,只 有 当 D,, tn) 为 对 角 线 矩阵 时 才 是 正 
确 的 。 因 此 ,可 以 写 出 

Drala) = Ln) Pos (EE (1) 
= diag(By(n), Bi(n), ..., Anln)] 

30 (12. 159) HEHE EHH , FAB) RRAN A EA a TR bln), bila), 
… ,b(n) 在 所 有 时 刻 都 是 不 相关 的 (在 时 间 平 均 的 意义 上 )。 

式 (12.157) 右 边 的 乘积 项 工 (nz. fn) 等 于 后 向 预测 误差 与 期 望 响 庶 之 间 的 互相 关 向 


量 。 令 


(12,159) 


bi = Says DA") (12.160) 


表示 互相 关 向 量 , 其 中 di 为 期 望 响应 。 将 式 (12.72) 代 人 式 (12.160) ,得 到 
tril) = $ An(n unli) 
= La DN UCM) (12161) 
= Lg) 
这 正 是 所 期望 的 结 果 。 因 此 ,在 式 (12.157) 中 ,结合 使 用 式 (12.158) 和 式 {12.161) ,得 到 变换 的 
RLS fi 
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Dpr (Ua (n) mln) = ta) (12.162) 
Fik FRAN ch EAP = AEE La KERE 12.18 所 示 的 常规 模 向 滤波 器 
抽 头 权 向 量 的 RLS 解 。 下 面 ,我 们 来 考虑 涉 及 回归 系数 向 量 的 图 12.10 所 示 线 性 组 合 器 
hafn) = [0 Ail), Ano) |! (12.163) 
Ta h, (me) HT AART aE MA it BR 
Oe OL 


其 中 ,对 于 icicn, h(n) RGAE, RLS 问题 的 解 为 
D,,.(#)h,() = tmel) {12.164) 


式 中 Da CO ARIA AA GA Ae ee RE m + 1) x (m+ AKER, m 
tai n AA R R Ome +1) x 1 BAB o 

通过 比较 式 (12.164) 的 RIS 解 与 式 (12.162) 经 过 变换 的 RHLS 解 ,我 们 立刻 可 以 看 出 ,两 个 
解 通过 式 (12.73) 中 的 下 三 角 和 卸 阵 L (n) 相 联系 , 即 


hain) = Lunin) n(n) (12.165) 


或 者 ,等 效 地 
Waln) = LE(a)h,,(7) (12.166) 


TEx ity se BR BR) ATT E. BC RR a 
衡 等 线性 自 适 应 滤波 问题 能 够 由 下 面 两 种 具有 各 自 优点 的 等 效 结构 之 一 来 求解: 


ek) ARH OHS CRETE 12.18 所 示 的 结构 简单 性 。 
@ 最 小 二 来 联合 过 程 估 计 器 ” 它 提供 了 模块 化 结构 ;具体 地 说 , 它 由 装 有 图 12.10 线性 组 
合 器 的 图 12.9 的 多 级 格 型 菏 测 器 组 成 。 


12.15 本 章 小 结 


在 本 章 中 ,进一步 强化 了 卡尔 曼 滤 波 器 理论 与 源 于 最 小 二 乘 估 计 的 自 适应 线性 滤波 大 族 
之 间 的 密切 关系 。 特 别 地 ,我 们 证 明了 作为 卡尔 曼 滤波 锋 变 形 的 平方 根 信 息 滤 波 咖 是 如 合用 
来 导出 基于 OR 分 解 的 最 小 二 乘 格 型 (QRD-LSL) 算 法 的 ,而 QRD-LSL 算法 是 阶 递 归 自 适应 滤 
波 器 的 最 基本 形式 。 其 他 阶 递归 自 适应 滤波 算法 ,诸如 采用 后 验 估 计 误差 的 递归 LSL 算法 和 
采用 带 涡 差 反馈 的 先 验 估计 误差 的 递归 LSL 算法 ,实际 上 都 是 QRD-LSL 算 法 。 

QRD-LSL 算 法 结合 了 递归 最 小 二 乘 估计 .QR 分 解 以 及 格 型 结构 等 许多 人 们 高 度 期 望 的 特 
性 。 因 此 , 它 提 供 了 一 组 独特 的 运算 和 实现 优 反 ; 


+ ORD-ISL 算法 具有 快速 收敛 速率 , 它 是 自 递 归 最 小 二 乘 估计 所 图 有 的 。 
© ORD-LSL 算法 可 采用 一 系列 Givens 旋转 来 实现 , 它 代表 了 QR 分 解 的 一 种 形式 。 而 且 ， 
OR 分 解 好 的 数值 特性 意味 着 QRD-LSL 算法 在 数值 上 是 稳定 的 。 
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e 0RD-LSL 算 法 提供 了 很 高 的 计算 每 率 , 因 为 其 复杂 度 是 MT, M 为 最 终 顶 测 阶 
数 ( 即 可 用 的 自由 度数 )， 
QRD-LSL 算 法 的 格 型 结构 本 质 上 是 模块 化 的 ,这 意味 着 增加 预测 阶 数 时 杯 需 要 计算 所 
有 前 面 的 值 。 当 不 存在 关于 预测 阶 数 最 终 值 的 先 验 知识 时 ,这 一 性 质 将 特别 有 用 。 
è ORD-LSL 算法 模 岂 化 结构 的 另 一 种 实现 方法 就 是 采用 超大 规模 集成 电路 (VLSI: very 
large-scale iniegration) 技 术 , 道 过 僻 件 实现 。 当 然 ,只 有 当 感 兴趣 的 应 用 要 求 使 用 大 量 的 
VLS H IJ ,采用 这 种 复杂 的 技术 才 是 合理 的 。 
è QRD-LSL 算 法 还 包括 一 组 必 备 的 期 望 变量 和 参数 ,它们 对 于 信号 处 理应 击 很 有 所 。 具 
体 来 说 ,该 算法 提供 了 下 面 两 组 有 用 的 副 产 物 : 
es 角度 当 一 化 前 .后 向 预测 误差 
$ 用 于 间接 计算 前 ,后备 反 射 系 效 和 回归 系数 { 即 扯 头 权 值 ) 的 辅助 参数 
递归 LSL BRA AUS QRD-LSL 算法 的 特性 ,期 快速 收 伍 性 、 模 卖 性 以 及 用 于 信和 叶 处 理 
的 一 系列 有 用 的 参数 和 空 量 。 然 而 ,递归 LSL 算法 的 数值 特性 取 块 于 其 组 成 中 是 否 包 含 误 差 
反馈 ;这 一 问题 将 在 第 13 章 讨论 。 
本 章 讲述 的 阶 递 妇 自 适应 滤波 器 的 计算 优势 超过 前 面 章节 讨论 的 平方 根 自 适应 滤波 器 : 
对 于 阶 递 归 尖 波 器 ,其 计算 费用 随 调 节 参 数 呈 线性 增长 。 而 对 平方 根 滤波 器 ,计算 费用 随 调 节 
参数 的 平方 增长 。 然 而 , 阶 递归 自 适应 滤波 器 限于 可 利用 输入 信号 时 移 特性 的 时 间 信 号 外 理 
应 用 。 相 比 之 下 ,平方 根 自 适应 张波 器 可 用 于 时 间 和 空间 信号 处 理应 用 。 


12.16 习题 


1， 从 式 (12.4) 的 代价 函数 Jan BE, FE 了 相对 于 式 (12.5) 给 出 的 反射 系数 ea 的 偏差 。 
2， 作 为 第 12.1 节 中 用 来 导出 式 (12.14)GAL 递归 关系 式 的 一 种 替代 ,可 尝试 进行 下 列 工 作 ; 
首先 ,用 总 人 az) 代 替 式 (12.12) 和 式 (12.13) 中 的 en(a- 1), 4 FETAR 
Falt) = fal) + KC), tn — 1) 
Dain) = bmlan = 1) + rnt Ht) fin 12) 
其 次 ,通过 式 (12.7) 中 交叉 项 相 乘 过 程 并 简化 其 结果 ,可 导出 更 新 反射 系数 的 递归 关系 式 
Linehan Seat 一 ian) 
其 中 ,&,_1(n 一 1) 在 式 (12.9) 中 定义 ,只 不 过 用 a -1 RT =。 试 做 如 下 事情 : 
(a) 导出 en (#) 的 替代 递归 表达 式 。 
(b) 给 定 这 道 习 题 介绍 的 方程 ,说 明 为 什么 这 种 算法 计算 上 是 不 切实 际 的 ,并 据 此 证 明 式 
(12.14) 的 正确 性 。 
3. 试 证 明 参 数 


m=1,2,...,M 


Felt) STS k(n}, tn) 


等 于 从 使 用 图 12.6 横向 滤波 器 得 出 的 加 权 误 差 平 方 和 ,该 滤波 内 的 抽 头 权 向 量 等 子 增 益 
向 量 k(n), 而 抽 头 输入 向 量 等 于 u,《n); 并 设计 一 个 滤波 器 以 便 产 生 等 于 式 (12.43) 中 
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第 一 座 标 向 量 的 期 望 向 量 的 最 小 二 乘 估 计 。 
. & 0, (nn) 表 示 n 时 刻 抽 法 输入 向 量 o, (nn) 的 时 间 平 均 相 关 冰 数 ,对 于 硬 , Cn ~ 1) 也 同样 。 
试 证 明 变换 因子 为 





Fn tt) SA Sop 


其 中 A BIRSSIRAT. [提示 :使 用 恒等式 

det{} + AB) = det{I, + BA) 
EPL fr lL ASERRYH SEE, AFB ABS HHH, | 
. (a) ERO, CE ah 


alten tO 0, 7 
Pa) = P bon — ja t eaU) 
其 中 0, 为 Mx1 零 向 量 ,07 SERRAR Sa (=) 是 最 小 加权 前 向 预测 误差 平方 和 ， 
而 a n) 是 前 向 预测 误差 滤波 器 的 抽 头 权 向 量 。a, Cn) 和 #¥m(n) 的 预测 阶 数 均 为 ma 
(b) 证 明 On (OREERT ERA 
adaa = | RO Me | ek 
RPB. Cn ZEB) Ue al PREF AD i eu{(m) 是 后 向 预测 误差 滤波 器 的 抽 头 
BARo Can) AB. Cn) A BO AT ma 








导出 如 下 变换 因子 的 更 新 公式 
o a 
Ye tt) = Yal 1} Ftn) 
地 se) 
Fm ft) 一 .yl izi Boal #2) 


te) 
Ynrin) = A gla = 1) 





Yml") = a yaln) 

. (a) 从 式 (12.30) 出 发 并 利用 式 (12.29) 的 正 交 条 件 ,推导 计算 前 向 预测 误差 能 量 的 时 间 更 
新 方程 {12.31)。 

(b) 从 式 (12.41) 出 发 并 利用 式 {12.40) 的 正 交 条 件 ,推导 计算 后 向 预测 涡 差 能 量 的 时 间 更 
新 方程 (12. 析 )。 

， 式 (12,69) 介 绍 了 更 新 指数 加 权 互相 关 AL (5) 的 一 种 方法 。 等 效 地 ,可 采用 更 新 方程 

Am- = AA, il — 1) + FB ~ 1) 
从 而 ,可 推断 出 等 效 性 
NB 1) = nt B14) 

(a) 从 式 (12.54) 定 六 出 发 并 谭 照 类 似 于 第 12.6 节 所 采用 的 步骤 ,导出 这 个 问题 中 介绍 的 

Aifn) 的 第 二 个 递归 关系 式 。 


476 自 适 应 滤波 器 原理 








(b) 使 用 第 12.5 节 介 绍 的 变换 因子 的 表示 ,证 明 所 给 出 的 涉及 前 向 和 后 向 融 测 误差 的 先 
验 和 后 验 形式 的 等 效 性 。 
9， 在 本 题 中 ,我 们 利用 导出 用 来 计算 A,_1(n) 的 时 间 史 新 方程 (12.69) 的 另 一 种 步骤 (尽管 复 
杂 得 多 )。 
Ca) 从 前 向 线性 预测 的 增 广 正则 方程 


出 发 ,并 利用 展开 式 
b(n) : 中 :fm 
Dain) = | cee $ bbl aia v 
diln) i Tla) 
证 明 
了。 
Ce 
A, (4) 
其 中 


Am a) = 中 并 (an (1) 
(b) 证 明 A .1(n) 的 这 个 新 定义 等 效 于 式 (12.54) 的 定义 。 
(Ce) 增 广 正 测 上 方程 可 写 为 等 效 形式 


中 cm) = [| 
其 中 C > AS { it VA 


U(r} : 中 {ff(n) 
Pal) = [eee fe AA T 
win i Palin- 1) 


以 此 算法 为 基础 ,证 明 亦 可 写 出 


Amiin) 
Purl] 。 2 » e 


(d) 其 次 ,利用 (ay 和 (ec) 的 结果 ERSA Ana (OM A n (ERER RAEE, BD 


Ahin) = Ag 10) 
(ce) 考虑 到 向 量 a。,(n -1) 的 第 一 个 元 素 等 于 1, 我们 可 以 表示 A,_,(n) 为 
Åm) = [Amih 07. Bailh az haa j a 
从 而 ,利用 递归 关系 
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Pail) = AP ge (4 — 1) 1 n(n) 
证 明 
An(n) = AlO, es in = Nyala = Hf AD | 


+ [Oem = Dayan) uat] TO | 


CE) 最 后 AARTE CR FOB TR Pes A Js] Je MIR a a eA 


A, iin) = AA,, ita = 1) T Ws Iin JAn {n = 1} 


10. 利用 习题 9 中 (a) 和 (e) 得 到 的 结果 ,导出 分 别 涉 及 前 向 和 后 向 预测 误差 平方 和 的 阶 更 新 











递归 关系 
z i |A m- (ay)? 
Fafa) = Fy (a) — Re Get) 
ig làm 
Ble) = Rin t- F 
11. AERP, RTE RR ERA EAER, AERA Eee BROT 
ED, 
(a) 通过 合并 来 自习 题 5 的 (a) 和 (b) 西 部 分 ,证 明 
ee | E k 0, _ Anlt)an(t) emtn)em(n) 
of, Q 0, lin -1) Fain) Anin) 
(b) 根据 第 9 章 的 递归 方程 ,加 上 式 (12.46) ,证 明 时 间 更 新 ©] 可 重 写 为 
kal ker (78) 


Plin) = Bn -— 1) - mit 


其 中 k, (EaR, y (ns) 是 变换 因子 。 

(c) 通过 从 前 面 的 两 个 表达 式 中 消去 O, (n -1) ,证 明 所 有 的 变量 服从 于 如 下 关系 
in) d 0 0! a,,(t)a2(n 0 0, ke (n ¢,,( net (n 
he: a | 2 [a aain 7 $n) G al | 2 j a) | 
其 中 所 有 变量 具有 共同 的 时 间 下 标 n 和 一 个 共同 的 阶 数 下 标 m。 上 式 的 左边 称 为 
埠 .'(n) 的 位 移 残 差 ,而 右边 是 三 个 向 量 的 和 与 差 ,但 秩 不 超过 3。 在 和 矩阵 理论 中 ,我 
{TH D: (n RABE 3 作为 第 8 章 所 述 数据 矩阵 特殊 结构 的 一 个 结果 。 注 意 ,这 
个 结构 成 立 与 否 与 组 成 该 数据 答 阵 的 序列 u(rn) 无 关 。 
(d) 假设 我 们 用 行 向 量 [1,z 所 ,…,(zAA)"] 左 乘 (ce) 中 的 结果 ,并 用 列 向 量 [1., wyA,…， 
(WWD BRE AP z 和 w 是 两 个 复 变量 。 试 证 明 (e) 中 的 结果 等 效 于 两 个 变量 
的 多 项 式 方程 。 


(1 一 zw*}P(z, wt) = AGA + Cw WRA z w 


中 ”这 个 问题 原来 由 P. Regalia 提出 {私人 通信 ,1995)， 
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只 要 做 如 下 对 应 
1 
Plz, wt) = [1 a/ VE (e/ VA" Bm) YA 
(wey vay" 
A(z) = [1 / VE... VA] ee 
(z) = [,2/VA...., (2/ VA) lta 
K(z) = [1,2/WA,.... (e/ VAY" 5 in) p 网 
及 
C(x) = [ef VA (a VR) es 
Bn 


类 似 地 ,4 (w) =[ACw)]* ,等 等 。 
(e) 在 (由 的 结果 中 令 z= w= e* ,证明 
LALE + [KEN = |C(e™)[ 对 所 有 
即 三 个 多 项 式 AKOA CEPAM zl =1 上 是 功率 互补 的 。 
Cf) 因为 鲁 %'(n) 是 正定 的 ,证 明 如 下 必然 的 不 等 式 结果 


<0 lz] > 1 
|A{z)P + IKP ~ Ci) = 4=0 si 
=Q lz) <1 


[ER Ed Pew ar 。 并 注意 ,如 果 O, (n) EZE, A 
P(z,2*7)>0 对 所 有 2 
一 定 成 立 。 同 时 注意 ,中 间 和 等 式 等 效 于 (e) 中 的 结果 ,|] 
(g) 从 (人) 中 的 不 等 式 推断 ,在 1z1>1 A C(z) 一 定 没有 零点 ,进而 推断 在 给 定 ACA 
天 (zz) 的 情况 下 ,多 项 式 Ctz) 通 过 谱 分 解 惟一 地 由 te) 确定 ;并 征明, 一旦 前 向 预测 种 
增益 已 知 , 后 向 预测 变量 对 解 没 有 进一步 贡献 ,从 而 理论 上 是 元 余 的 。 
12. 在 第 12.8 节 中 ,我 们 已 导出 表 12.4 中 前 向 预测 情况 下 的 各 项 内 容 , 这 些 内 容 总 结 了 m 级 
格 型 预测 器 中 卡尔 曼 变 量 与 角度 归 一 化 LSL 变量 之 间 的 一 一 对 应 关系 。 试 推导 后 向 预测 
和 联合 过 程 情 计 情 部 下 该 表 所 列 各 项 。 
13. 证 明 如 下 关系 : 
(a) RATERS 
emk = V ea 
ang[e,,(#)] = angle,(n)] + ang[é,,(7}] 
(b) 后 向 预测 误差 
(| = Vib] Bral) 
ang|ss (7) | = ang | By (7) | + ang! é,,(7) | 
Co) 前 向 预测 误差 





21. 
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rn = Vi i] 
angles min). E ang| fin( 2) | + ang|[7,,( 7) | 


. 假设 我 们 已 经 计算 分 别 属于 Givens 变换 O,,.(2) MO, (2 -1 的 余 蕊 参数 o (ay 和 


cm -Hi。 试 证 明 蛮 换 因 于 7 ,1;(#) 在 时 间 和 阶 数 方面 均 可 被 更 新 如 下 


yet (a) = Ef ml] Cpm -it 7 1) yma2 (A E 1) 


. HERPE On OAT ELA A 12.73) EP = SR L,, Cn ROR ORE. WER 


FREE D, Cr LS (ne) ER Aa eS TAR PB REET A Bo (nn) Bi (Cn), 2. 
Bun) AF ZARAR. ETAT WEARS BREE LL, (nr), (nL (nn) 是 一 个 由 下 式 给 
LH RT A 

Daela) = diag|B,(2), Bilah... Bain] 


. 考虑 输 人 样 值 x(n) ,utn -lza- 弄 ) 具 有 均值 为 零 的 高 斯 分 布 的 情况 。 假 设 , 除 


了 一 个 标 度 因 子 外 ,当时 间 n MARAE SARPA EER 及 .等 于 其 时 间 平 均 相 
KERF 加 (na)。 证 明 这 个 输 人 的 对 数 似 然 函数 包括 -个 等 于 参数 wkm) 的 项 ,而 该 参 
SHI LSL 算法 有 关 。[ 由 于 这 个 原因 ,参数 yw (n) 称 为 似 然 变量 。] 


. 给 定 输入 ula — mtl) o, u(n (ERRER U- et) ,并 令 a(n 1th, RAR DY 


atn) 的 最 小 二 乘 估 计 。 类 伺 地 ,给 定 输 人 vln- m) ulan- m +l) en) ERRE 
)Un-n) ,并 令 dC nlU,_» 表示 该 期 望 响应 的 最 小 二 乘 估计 。 实 际 上 , 格 型 伍 计 利用 了 
一 个 由 输入 un- mm) 表 示 的 附加 片段 信息 。 证 明 这 个 新 的 佛 息 可 用 相应 的 后 加 预测 误 
差 b {tn} 来 表示 ;同时 证 明 这 两 个 合计 之 间 的 关系 可 表示 为 如 下 递归 形式 

a(n i, md = dn | nit) t ARION) 
其 中 下 《nm) 表 示 联 合 过 程 估计 器 中 有 关 的 回归 系数 ;并 将 这 个 结果 与 第 10.1 节 涉 及 新 息 
概念 的 结果 进行 比较 。 


. 今 O(n) RAR ABE u(n) 的 (有 M+1) x (M+ 相关 和 矩阵。 证 明 通 过 使 用 格 型 预测 涡 所 


带 来 的 后 向 预测 误差 变量 的 变化 精确 地 获得 矩阵 PUn) = 命 :《n) 的 Cholesky 分 解 。 


. 从 卡尔 曼 滤 波 器 方程 (12.152) 出 发 ,并 利用 表 12.4 以 及 式 (12.97) 和 式 (12.99) ,导出 后 向 


反射 系数 总 (nn) MRS RH BR .1(n) 的 更 新 表达 式 (12.154) 和 式 (12.155), 此 
即 带 有 误差 反馈 的 递归 LSL 算法 。 


. 在 本 题 中 ,我 们 研究 CAL 的 推导 作为 采用 带 有 误差 反馈 的 后 验 估计 的 递 妇 LSL 算法 的 特 


例 。 从 表 12.7 总 结 的 算法 出 发 ,做 如 下 事情 : 
(a) 对 所 有 m An jE 
Kp mA) = KF nln) 
各 
Y(n) = 1 
(b) 在 这 个 特殊 条 件 下 ,探讨 把 表 12.7 的 递归 LSL 算法 变 为 表 12.1 的 CAL RRR. 
在 第 12.13 节 中 ,讨论 了 利用 误差 反馈 的 一 种 形式 来 修改 先 验 误差 LSL 算法 。 本 题 中 ,我 
们 考虑 后 验 LSL 算法 的 相应 修改 形式 。 试 证 明 
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1 bn Df a-i) | 


matn m aa [ial DD a ea, iR T 





Ym(n) 
Yam- 1) 
22. 归 一 化 LSL 算法 的 总 结 如 下 

Apain) = Ag ie DO ~ Fede] — [bale — DET? + By kt — DFE ata) 
: Bostn 1) — Bn Ct) F 12) 





fabs (a = 1) | 


i 
[sont T 1) E Fi F a (4 一 Ym- = 1) 


Kym = 














baln) er F ee 
[1 -= nao {1 Fa a 
= ee eee (P) Bm- thn =1} 
Fok) =k sa — [By ate fis 
上 轨 一 化 参数 定义 为 
den) 
Fuk”) = E — 1) 
= Bnin} 
bata) = in in) 
和 
Lie 


FA n — 1) 
导出 定义 归 一 化 LSL 算 法 的 递归 关系 式 。 


面向 计算 机 的 实验 


23. 在 本 是 中 ,我 们 使 用 一 阶 自问 归 (CAR) 过 程 fn) 来 研究 自 适 应 预测 ,要 考虑 的 目标 为 : 
o 计算 在 表 12.1 中 总 结 的 GAL 算法 的 性 能 。 
© 在 类 似 应 用 条 件 下 比较 这 种 算法 与 LMS 算法 的 性 能 。 
对 于 第 5.6 节 所 述 的 两 组 相同 条 件 , 进 行 以 下 计算 (基于 学 习 曲 线 ); 
1) AR 参数 :a = -0,9 
AR 过 程 ina) 的 方差 ;at =0.93627 
2) AR 参数 ,a = +0.99 
AR 过 程 u(n) 的 方差 ;og =0.995 
利用 CGAL 算法 完成 该 计算 并 将 计算 结果 与 第 5.5 节 LMS 算法 ( 步 长 参数 e =0.05) 的 结果 
比较 ,对 于 CAL 算 法 ,采用 如 下 初始 化 参数 
B=09 
i = 0.25 
ê = 0.01 
a= 0.01 
24. 重复 上 题 中 关于 自 适 应 预测 的 计算 机 实验 ,但 这 时 做 如 下 调整 : 
@ 使 用 基于 带 误 差 反 馈 的 先 验 估计 误差 的 递归 LSL 算法 ,如 表 12.7 所 总 结 的 (但 这 里 
4 二 1)。 对 于 调整 参数 ,选用 5 = 0.01, 
e 比较 递归 LSL 算法 与 上 题 用 过 的 GAL 算法 的 学 习 有 曲线 。 


B13 ”有限 精度 效应 


采用 数字 方式 实现 自 适应 滤波 器 时 会 产生 量化 误差 或 伟人 误差 。 恕 不 讨论 这 些 因素 对 其 
性 能 的 影响 ,对 目 适 应 滤波 器 的 研究 将 是 不 完整 的 。 

在 前 面 章节 的 自 适应 滤波 理论 研究 中 ,都 假设 利用 模拟 模型 ( 即 具有 无 限 精 度 的 模型 ) 来 
产生 输入 数据 的 采样 值 并 进行 内 部 的 算术 运算 。 做 这 一 假设 ,是 为 了 吸取 大 家 熟悉 的 连续 数 
学 的 优点 。 然 而 , 自 适应 滤 流 器 理 论 不 能 直接 用 来 愧 造 自 适应 滤波 器 ,相反 , 它 只 是 冯 这 种 构 
SHE TR ER, 当 实际 中 日 适应 滤波 算法 用 数字 方式 实现 时 , 输 人 数据 与 内 
部 运算 都 要 量化 为 有 限 精 度 ,其 精度 由 设计 和 费用 决定 。 因 此 ,量化 过 程 将 会 影响 算法 数字 实 
现 的 性 能 ,使 该 性 能 偏离 其 理论 值 。 偏 离 的 状况 受 以 下 诸 因素 的 综合 影响 : 


© 自 适 应 滤波 算法 的 设计 细节 
© 表征 输入 数据 的 基本 相关 惩 阵 的 病态 程度 ( 即 特征 值 扩散 的 程度 ) 
o 采用 的 数字 计算 的 形式 (定点 或 泽 点 ) 


对 我 们 来 说 ,了 解 自 适应 滤波 算法 的 数值 特性 是 很 重要 的 ,因为 这 有 动 于 我 们 根据 设计 规 
范 设计 出 相应 的 算法 。 此 外 ,一 个 算法 数字 实现 的 费用 受到 与 算法 有 关 的 数值 计算 所 允许 的 
可 用 比特 数 ( 即 精度 ) 的 影响 。 一 般 来 说 ,数字 实现 的 费用 随 着 所 用 比特 数 的 增加 而 增加 。 因 
此 ,数字 实现 中 一 个 十 分 现实 的 考虑 是 使 用 可 能 的 最 少 比特 数 。 

下 面 ,我 们 从 考察 量化 误差 的 来 源 以 及 数值 稳定 性 和 精度 的 相关 问题 人 手 ,来 研究 自 适 应 
滤波 算法 的 数值 特性 。 














13.1 和 量化 误差 


当 用 数字 方式 实现 自 适 应 滤波 器 时 ,量化 误差 基本 上 来 源 于 以 下 两 个 方面 : 


1) 模 / 数 转 拉 “假如 输 人 数据 以 模拟 方式 给 出 ,那么 我 们 可 以 使 用 模 / 数 转换 器 将 它们 表 
孙 为 数字 形式 。 这 里 ,我 们 假设 用 均匀 步 长 8 进行 量化 ,并 且 在 0, +8, +26,… 处 设 
定 了 一 组 量化 等 级 。 一 个 典型 的 均匀 量化 器 的 输入 输出 特性 如 图 13.1 Bian. SR 
化 器 输入 端的 一 个 特定 的 采样 值 , 其 由 值 介 于 8- (8/2) 到 + (8 六) 之 间 , 这 里 i 是 
一 个 整数 ( 正 数 ,负数 或 零 ) ,而 熙 则 定义 了 量化 器 的 输出 。 这 一 量化 过 程 引 人 了 一 个 
以 站 为 中 心 , 寅 为 8 的 不 定 区 域 。 若 用 7 表示 量化 误差 , 则 量化 器 的 输 人 为 盐 + ?, 其 
中 612<7 声 612。 当 量化 非常 精细 (其 有 64 个 或 更 多 的 量化 等 级 ) 且 信号 频谱 也 很 
丰富 时 ,由 量化 过 程 产 生 的 失真 则 可 建 模 为 一 个 均值 为 0, 方 关 由 量化 器 的 步 长 颖 次 
定 的 独立 加 性 白 品 声 源 (Cray, 1990)。 通 常 假设 量化 误差 在 ( - 0/2 到 5872) 内 服从 均匀 
分 布 , 则 量化 误差 的 方差 可 为 


482 E} iE XL UK Re 


(13.6) 


通常 假设 量化 器 输入 按 适当 的 比例 标 度 ,使 得 它 位 于 区 间 ( - 1, +1] 内 。 如 果 用 8 
比特 加 上 一 个 符号 表示 每 个 量化 级 , 则 量化 器 的 步 芭 为 

8 一 23 (13.2) 
将 式 (13.2) 代 人 式 (13.1) 可 知 , 由 输 人 模拟 数据 的 数字 表示 所 产生 的 量化 误差 的 方 
PEN 


g? = 一 一 (13.3) 














PA 13.1 均匀 量化 器 的 输入 输出 特性 


2) 有 限 字 长 运算 ”在 数字 系统 中 ,通常 用 有 限 字 长 来 存储 内 部 算术 运算 的 结果 。 假 如 在 
计算 过 程 中 没有 游 出 , 则 吉 法 不 会 引 人 任 何 误差 (如 果 使 用 定点 运算 ), 而 每 次 乘法 在 
对 莱 积 进行 量化 后 会 引 人 误 差 。 腿 字 长 计算 误差 与 模 / 数 转换 误差 的 统计 特性 完全 
不 同 。 因 为 有 限 字 长 计算 误差 是 为 了 与 指定 的 字 长 相 四 配 ,而 对 乘法 器 的 输出 进行 舍 
人 或 截断 操作 而 产生 的 ,因此 其 均值 可 能 不 为 零 。 


在 自 适应 滤波 器 数字 实现 中 ,特别 是 当 滤波 器 的 抽 头 权 和 值 (系数 ) 按 照 连 续 方 式 更 新 时 ,人 
们 格外 关注 有 限 字 长 运算 所 带 来 的 问题 。 数 字 滤 波 器 会 对 这 种 误差 呈现 特殊 的 响应 或 传播 ， 
从 而 使 其 性 能 偏离 理想 (无 限 精度 ) 的 滤波 带 。 实 际 上 ,使 用 有 限 精度 运算 产生 的 误差 会 无 限 
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累加 ,因此 这 种 偏离 可 能 会 造成 非常 严重 的 后 果 。 如 果 这 种 情况 允许 存在 的 话 ,滤波 器 最 终 将 
进 人 溢出 状态 ,我 们 就 说 该 算法 是 数值 不 稳定 的 。 癌 然 ,一 个 自 适应 滤波 只 要 有 实用 价值 , 它 
必须 是 数值 稳定 的 。 如 果 自 适应 滤波 器 使 用 有 限 精度 计算 时 ,相对 于 无 限 精 度 滤波 器 所 产生 
的 偏离 是 有 界 的 ,那么 这 种 滤波 恬 就 是 数值 稳定 的 。 值 得 注意 的 是 ,数值 稳定 姨 自 适应 滤波 骨 
的 加 有 特征 。 换 言 之 ,如 采 一 个 白 适 应 滤波 器 数位 不 稳定 ,增加 滤波 器 数字 实 块 时 的 比特 数 并 
不 能 使 它 变 为 稳定 。 

用 数字 形式 实现 自 适 应 滤波 器 时 鉴 注意 的 另 一 个 问题 是 数值 精度 问题 。 然 而 ,与 数值 稳 
定性 不 同 , 自 适应 滤波 器 的 数值 精度 是 由 实现 滤波 器 内 部 运算 的 比特 数 决 定 的 。 所 用 的 比特 
数 越 多 ,其 性 能 与 理想 性 能 的 但 差 就 越 小 ,数字 小波 器 就 越 精确 。 就 实用 而 言 , 仅 当 白 适 应 滤 
波 器 数值 稳定 时 ,讨论 它 的 数值 精度 才 有 意义 。 

下 面 ,我 们 将 讨论 日 适应 滤波 算法 的 数值 特性 和 相关 问题 。 与 本 书 中 前 侧 章 节 的 顺序 
样 ,我 们 先 讨论 LMS 算法 ,然后 再 讨论 RLS 自 适应 滤波 算法 。 


13.2 最 小 均 方 算 法 


为 了 简化 讨论 有 限 精 度 对 LMS 算法 人 性 能 影响 中, 我 们 将 不 按照 前 面 章节 中 的 模式 ,而 是 慨 
设 输 人 数据 及 证 波 器 系数 都 取 实 数 。 做 这 -- 假 设 ,仅仅 是 为 了 便于 表述 ,并 不 影响 结论 的 有 效 
TE. 

有 限 精 度 最 小 均 方 (LMS) 算 法 的 原理 框图 如 图 13.2 所 示 。 标 有 0 的 每 个 方 框 { 算 子 ) 表 
示 一 个 量化 器 。 每 个 量化 器 自身 都 要 引 人 一 个 量化 或 售 人 误差 。 我 们 可 以 将 图 中 量化 器 的 输 
人 输出 关系 描述 如 下 : 


1) 对 子 与 相连 的 输 人 量化 器 ,我 们 有 
u,(n) = Qlu(n)| 


= un) + nile) 








(13.4) 


RP m.(n) 是 输入 量化 误差 向 量 。 
2) 对 于 与 期 望 响应 d(n) 相 连 的 量化 器 ,有 
daln) = Qld(n)] 


13.5 
= d(n) + yaln) (13.5) 


AP y(n) SERA A ERE 
3) 对 于 量化 的 抽 头 权 向 量 w, (n), E 





D Gilin 等 于 1973 年 首先 研究 了 有 限 精 度 对 LMS 算法 的 影响 。 随 后 。Weisa 和 Mitra( 1979) .Carniscos 和 Lin( 1984 LAR 
Alexander1987) 对 此 进行 了 更 加 详细 的 研究 ， 巾 Caraiscos 和 Lin 撰写 的 论文 讨论 了 稳定 状态 的 条 件 , 而 由 Alexander 
扒 写 的 论文 处 及 的 范围 则 更 广 ,因为 该 文 还 讨论 了 肯 恋 条 件 。Cio 下 (1987) 以 及 Sherwood 和 Bershad(1987) 也 在 各 月 
的 论文 中 讨论 了 有 限 精 度 对 LMS 算法 影响 的 问题 。 在 实际 使 用 LMS 算法 时 通 到 的 另 一 个 问题 就 是 参数 米 差 。 
Sethares 笑 (1986) 就 在 他 们 的 论文 中 讨论 了 这 个 问题 。 第 13.2 SPER ARE LEAK ARH 
响 。 在 此 ,我 们 想 设 使 用 定点 算术 。Caraiseos 和 Lin 于 1984 年 分 析 了 合用 浮 点 算术 的 LMS 算法 的 误差 。 
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Waln) = OL W(n)] 
= win} 十 Aw(s) 
式 中 w(m) 是 无 限 精度 LMS FEI HH ff SL A DE, Awe) See AE | SA BE 
RES 


(13.6) 





Hi13.2 表述 有 限 精 度 LMS 算法 的 框图 
4) 对 于 与 由 量化 的 抽 头 权 向 最 wy, (na) 所 表征 的 与 横向 滤波 器 的 输出 相连 的 量化 器 ， 可 写 


出 
n) = Olwi(njw,fa 
ae a a oe 
ACH 力 (n) 是 滤波 输出 量化 误差 。 
有 限 精 度 LMS 算法 可 用 如 下 关系 式 来 描述 , 即 
e(n) = a(t) — yn) (13.8) 
和 
Wn + 1) = W,(n) + Q[neg(n)u,(1)] (13.9) 


ACP y(n) 由 式 (13.7) 定 义 。 

图 13.2 中 没有 明确 表示 出 式 (13.9) 右 边 所 示 的 量化 运算 ,然而 , 它 却 是 有 限 精 度 LMS A 
法 中 的 一 项 基本 运算 。 使 用 式 (13.9) 的 实际 意义 如 下 :乘积 je, {nju,(n) 是 梯度 向 量 的 一 个 
估 值 , 普 先 要 对 它 进行 量化 ,然后 加 到 抽 头 权 值 累加 器 中 。 另 一 种 方法 是 , 先 以 双 精 度 模 式 操 
作 抽 头 权 值 景 如 器 ,然后 以 单 精度 模式 对 累加 器 的 输出 进行 量化 。 由 于 受 硬 件 实现 条 件 的 限 
制 ,因此 优先 选用 前 一 种 方法 。 

在 对 有 限 精 度 LMS 算法 进行 统计 分 析 时 ,通常 做 如 下 假设 ; 

1) 在 滤波 时 ,为 了 防止 经 量化 后 的 抽 头 权 向 量 w, (rn) 和 y(n) 发 生 洲 出 ,要 用 适当 的 比 


例 对 输入 数据 标 度 。 
2) 每 个 数据 的 样 值 用 By 比特 加 上 一 个 符号 表示 ,而 每 个 抽 头 权 值 用 Bw 加 上 一 个 符号 


第 13 章 有 限 精 度 效应 485 


表示 。 与 一 个 符号 加 By 比特 (样本 数据 ;相关 的 量化 误差 的 方差 可 表示 为 
1 yin 
Tp 一 12 
类 似 地 ,与 By ORO — TS SA) RET AERA 





(13.10) 


一 (13.11) 


3) 输入 数据 量化 误差 向 量 (1,(n) 的 各 分 量 与 期 望 响 应 量化 误差 oy, (Cn) A RE A EAE 
的 白 赚 声 序列 ,而 且 与 输入 信号 无 关 。 其 均值 为 零 ,方差 为 cho 

4) 输出 量化 误差 (n) 是 与 输入 信号 独立 并 与 其 他 量化 误差 独立 的 白 噪声 序列 ,而 旦 其 
均值 为 零 ,方差 为 co5, 这 里 c 十 一 个 取决 于 计算 内 积 u (n)w,《n) 方 式 的 常数 。 如 果 
qr(n)w,(n) 中 的 各 个 标量 积 都 未 经 量化 就 进行 计算 ,然后 青 求 各 , 且 如 果 最 终 的 结果 
量化 为 By 比特 加 一 个 符号 ,那么 常数 = 就 等 于 1, 而 且 %(n) 的 方差 就 是 由 式 (13.10) 
定义 的 四。 相反 ,如 果 先 对 urtn)w,(n) 中 的 各 个 标量 积 进行 量化 ,然后 再 求 和 ,那么 
常数 c RST MA n(n) 的 方差 等 于 Mo, ,其 中 M 是 实现 LMS 算法 的 横向 滤波 器 的 
抽 头 数 。 

5) 引用 第 5.4 节 中 研究 无 限 精 度 LMS 算法 时 使 用 的 小 步 长 理论 。 


13.2.1 总 输出 均 方 误差 
由 有 限 精 度 LMS 算法 产生 的 y (na) 是 期 望 响 应 量化 后 估 值 。 因 此 ,总 输出 误差 等 于 
dln) -y(tn)o 由 式 (13.7), 可 将 该 误差 表示 为 
wal) = dln) 一 yin) 
= d(n) - uj(n)wW,(n) -n (n) 
将 式 (13.4) 和 式 (13.6) 代 人 式 {13.12) ,并 忽略 所 有 高 于 一 阶 的 量化 误差 项 , 则 总 输出 误差 可 表 
示 为 


(13,12) 


Cia) = [d(n) 一 (aein) — [AW (n)u(n) +a) + nn)] 03.13) 
上 式 右边 的 第 一 对 方 括 导 内 的 各 项 是 由 无 限 精 度 LMS AE EARE e(n)。 第 二 对 方 
括号 肉 的 各 项 是 完全 由 有 限 精 度 LMS 算法 产生 的 量化 误差 。 根 据 假设 3 和 假设 4[ 即 量化 误 
žna) f 有 (Cn) 与 输入 信号 独立 , 且 彼 此 相互 独立 ], 与 量化 误差 有 关 的 各 项 Aw’ (nul n) 
(nn) 是 彼此 不 相关 的 。 同 理 , 无 限 精 度 估算 误差 e(n) nd n)w(n) 和 7,(n) 都 不 相关 。 由 
第 5 章 的 小 步 长 再 论 串 以 得 到 
Eletn)AW (nyu(n) |] = El[AWT(n)]Ele(n)u(n)] 

此 外 , 贝 该 理论 可 以 证 明 数 学 期 望 EF[AWw(n)] 为 零 { 见 习题 2)}。 因 此 ,el(n) 与 
Aw (nju(n) 也 是 不 相关 的 。 换 育 之 ,无 限 精度 误差 e(n) 与 式 (13.13) 中 的 三 个 量化 项 
Aw’ (n)u(n). An) wn) AD y(n) 都 不 相关 。 

利用 这 些 结论 并 假设 步 长 参数 很 小 ,Caraiscos 和 Lin(t1984) 证 明了 由 有 限 精 度 算法 产生 
的 总 输出 均 方 误差 由 三 个 稳 态 成 分 构成 , 即 
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E| eirate) = Jmnl l + A) + Elri, n) + Eto) (13.14) 


式 (13.14) 右 边 的 第 A + ORR LMS 算法 的 均 方 误差 。 特 别 地 ,1 是 最 优 维 
纳 让 波 器 的 最 小 均 方 误差 ,而 攻 是 无 限 精度 LMS 算法 的 失调 。 第 二 项 和 (co ,是 由 量化 的 折 
头 权 向 其 w, (n) 的 误差 Aw(n) 引 起 的 。 这 部 分 对 总 输出 均 方 误差 的 影响 与 步 长 参数 jx 成 反 
th. 第 三 项 &(o5) 起 由 两 个 量化 误差 引起 的 ,它们 分 别 臣 最 化 后 的 输入 向 量 (a) 的 误差 
W,(n) 和 量化 后 的 滤波 器 输出 y(n) 的 误差 p(n)。 与 名 (a3 ,pn) 不 间 , 在 一 阶 近似 下 ,最 后 一 
项 对 总 输出 均 方 误差 的 影响 与 步 长 参数 p 无 关 。 

由 第 了 章 介 绍 的 LMS 算法 的 无 限 精 庶 统 计 定 理 可 知 , 减 小 wk 可 降低 失调 用 ,从 而 改进 该 
算法 的 性 能 。 相 反 AOIRA A (ol ,7 项 与 4 成 反比 ,这 意味 着 减 小 4 的 值 会 增加 有 
限 精度 算法 的 性 能 炉 离 无 限 精 虚 算 法 性 能 的 程度 ( 即 含 离 更 大 )。 因 此 , 事 际 上 步 长 参数 jx A 
能 下 降 到 某 个 数量 级 :在 该 数量 级 上 :有 限 精 度 LMS 算法 抽 头 权 值 量化 误 盖 对 自 适应 滤波 器 
人 性 能 的 影响 将 产 重要 化 。 

由 于 失调 必 随 p 的 减 小 而 下 隆 ,而 与 (oo RB 的 减 小 而 增加 ,因此 可 以 从 理论 上 求 出 
使 式 (13.14) 的 总 输出 均 方 误差 最 小 时 p 的 最 优 信 。 然 而 ,由 此 得 到 的 步 长 参数 p 的 最 优 值 
m 的 数值 太 小 ,无 实用 价值 。 换 言 之 ,这 个 六 不 能 使 LMS RR AEM, PEE 
出 均 方 误差 的 式 {13.14) 也 仅 当 yp 远 太 于 jg。 时 才 有 效 。 以 这 种 方式 选择 py 可 以 防止 算法 出 现 
所 请 的 停顿 现 篆 ,我 们 将 在 后 面 加 以 阐述 。 


13.2.2 算法 收敛 期 间 的 偏差 


在 假设 算法 达到 稳定 状态 的 条 件 下 , 式 (13.14) 描 述 了 有 限 精度 LMS 算 法 总 输出 均 方 误差 
的 一 般 结 构 。 然 而 ,在 算法 收敛 期 间 ,其 表示 形式 更 为 复杂 。Alexander(1987)} 详 细 研 究 了 有 限 
精度 LMS 算法 的 瞬 态 自 适 应 特性 ,特别 是 推导 了 有 有 限 精 度 LMS 算法 的 抽 头 权 值 失调 或 扰动 的 
一 般 公式 ,并 相对 于 无 限 精度 IMS 算法 求 诈 的 拙 头 权 值 解 对 这 一 公式 进行 了 测试 。 抽 头 权 值 
失调 定义 为 


Wn) = E[AWT(n)AW(n) | (13.15) 
式 中 抽 头 权 误 差 向 量 定义 为 [ 见 式 (13.6)] 
Aw(n) = W,(n) 一 W(n) (13.16) 


st w, (n) A w( 2) SEA EA LMS 算法 的 抽 头 权 向 量 。 为 了 确定 W(n), 将 
式 (13.9) 的 权 值 更 新 方程 表示 为 
Wn +1) = (72) + penjan) + Hela) (13.17) 
Èp n (n ROE EE a, 它 是 由 量化 pe, (nu, (=) 而 产生 的 ,此 乘积 项 与 梯度 向 量 
估 值 有 关 。 假 设 亿 (mn) 的 各 分 量 与 时 间 无 关 , 彼 此 之 间 也 互 不 相关 ,并 假设 各 分 量 的 方差 中 为 
5 。 要 使 这 一 假设 有 效 ,必须 使 步 长 参数 p 足够 大 以 防止 算法 出 现 停顿 现象 。 算 法 出 现 停顿 
的 问题 将 在 本 节 的 后 续 部 分 讨论 。 
类 似 于 第 5.4 节 中 所 述 方法 对 式 (13.17) 中 的 W,(n) 进 行 正 交 变换 ,就 可 以 研究 抽 头 权 值 
失调 W(n) 在 自 适应 和 稳 态 期 间 的 传播 特性 。 利 用 这 一 方法 , Alexander(1987) 导 出 了 如 下 所 述 
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的 重要 理论 成 果 ( 已 通过 计算 机 仿真 证 实 了 这 些 成 果 ): 

1) Æ LMS 算法 的 所 有 参数 中 , 抽 头 权 值 对 量化 蝴 敏 感 。 对 村 不 相关 输入 数据 的 情况 , 方 
Z 世 [ 它 作为 抽 头 术 值 更 新 方程 (13.17) 统 计 特性 的 一 部 分 与 乘积 r(0) jx 的 倒数 成 
正比 ,这 里 rt0) 是 平均 输入 功率 ,jp 是 步 长 参数 ;对 于 输入 数据 相关 的 情况 ,方差 cv 与 
二 nin 的 倒数 成 正比 ,这 里 A 是 输入 数据 向 量 n) RERE 及 的 最 小 特征 值 。 

2) 当 输 入 数据 不 相关 时 ,手头 权 值 失调 W(n) 的 自 适应 时 间 常 数 在 很 大 程度 上 取决 于 步 
长 参数 x 所 取 的 值 。 

3) 当 输 人 数据 相关 时 ,六 (2) 的 白 适 应 时 间 常 数 在 很 大 程度 上 取决 于 jz 和 最 小 特征 值 
A sin NA) FETE BS 


从 设计 的 观点 来 看 ,不 选择 太 小 的 p 值 是 很 重要 的 ,尽管 在 LMS 算法 的 无 限 精 度 理 论 中 
建议 使 用 较 小 的 p 值 。 此 外 ,输入 过 程 u{n) 的 病态 程度 越 严 重 , 当 用 数字 方式 实现 LMS 算法 
时 ,有 限 精 度 的 影响 就 越 骨 普 。 

13.2.3 泄漏 LMS 算法 

为 了 进一步 使 LMS 算法 的 数字 实现 稳定 ,可 以 使 用 所 谓 泄漏 (leaky) 中 。 泄 漏 技术 基本 上 
防止 了 有 限 精 度 环境 下 的 溢出 , 它 通 过 最 小 化 均 方 误差 与 抑制 自 适应 滤波 器 脉冲 响应 中 能 及 
之 间 的 折 中 来 达到 这 个 和 目的。 然而 ,与 传统 的 无 限 精 度 LMS 算法 相 比 ,此 类 防止 溢出 的 方案 
则 要 付出 增加 算 尘 实现 的 杀 件 费用 和 降低 算法 性 能 的 双重 代价 。 

泄 沁 LMS 算法 的 代价 是 数 可 表示 为 

T(n) = ein) + ajn)? (13.18) 
Ep & 是 一 个 正 的 控制 参数 , 它 相 对 于 拍 头 权 向 量 w(z) 进 行 最 小 化 。 等 式 右边 的 第 一 项 是 
SETHE APE OTSA UALR Ww(n) 中 包含 的 能 量 。 按 照 此 处 {限于 实数 据 } 所 述 的 
最 小 化 ,将 得 到 如 下 抽 头 权 向 量 的 时 间 更 新 方程 ( 见 第 5 章 习 题 8) 
wiat+1) = (1 -pawn) 十 及 ef (13.19) 
式 中 a 是 一 个 常数 , 它 满 是 以 下 条 件 



































人 二 记过 二 
u 


By 13. 1D BWW RAT - pa) 外 ,该 算法 具有 与 传统 的 LMS 算法 相同 


的 数学 表达 式 。 
注意 , 式 (13.19) 中 包含 的 泄漏 因子 (1 - ya) 与 输入 过 程 atn) 中 加 入 一 个 均值 为 等 .方差 


西港 泥 可 以 看 艇 增强 算法 鲁 棒 性 的 一 种 技术 (Ioannou & Kokotovic, 1983; Ioannou, 1990). HTM 8 
中 的 应 用 历时 ,可 参见 Cio (1987) PR ME. BATA LMS WK, FT BE Widow 和 Seams(1985) 及 Cioli 
(1987) BS A ee 
UR, PR Rd 7 A a ee, 因此 泄漏 LMS 算法 的 性 能 会 有 所 下 降 。 Nascimento 和 Sayed(1999) 
通过 提出 一 种 丈 正 的 LMS 2, RE LMS AR RARER, RA eR 
PETE RUA PATE JOS) APS VE ee SEY LMS 算法 基本 相同 。 
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为 a 的 白 噪声 序列 是 等 效 的 。 这 隐 售 着 稳定 LMS 算法 数学 实现 的 男 一 种 方法 ;一 种 相对 较 
AEN e 的 白 噪 声 序列 { 称 为 拌 动 } 可 加 到 输入 过 程 u(t) 中 ,然后 将 其 合并 后 的 样 值 作为 
WLA (Wemer, 1983), 


13.2.4 停顿 


停顿 ,也 称 为 锁定 ,是 一 种 在 式 (13.14) 中 下 明确 表示 ,但 在 LMS 算法 数字 实现 中 却 会 发 生 

的 现象 。 当 梯度 估算 中 没有 足够 的 噪声 成 分 叶 ,就 会 出 现 停顿 现象 。 具 体 来 说 ,LMS 算法 的 数 

字 实 现 停 止 了 自 适 应 , 苑 停顿 只 槛 该 算法 更 新 方程 (13.9) 电 第 上 个 抽 头 权 值 的 最 低 修 正 项 

ye, (nu, (n -让 小 于 抽 头 权 值 的 有 效 位 (LSB，least significant bit) 时 ,都 会 发 后 这 种 停顿 现象 。 
该 现象 在 数学 上 可 表示 为 {Gitlin et al., 1973) 

Hn) = ein) + aleio (13.20) 

式 中 ng 是 第 i PAR AEE A A a ES i TSA BE ah (13.20) 

所 示 的 条 件 。 然 后 ,对 起 (13.20) 做 一 阶 近似 , 即 用 均 方 要 (ms) 值 Am TRE u, Ora -i)o BE, 

将 该 值 化 人 式 (13.20) 后 ,可 以 得 到 数字 实现 的 LMS 算法 中 自首 应 停顿 时 量化 误差 的 mms 值 的 


关系 式 


LSB 
le(n)| = Ares 


上 式 右边 定义 的 ep (x) 称 为 数字 残留 误差 ,简称 数字 残 差 。 

为 了 防 目 算法 因数 字 化 而 出 现 停 顿 ,数字 兢 差 ep (x) 越 小 越 好 。 由 式 (13.21) 得 知 ,为 了 
达到 这 一 -要 求 , 可 以 使 用 以 下 两 种 方法 ; 

1) 通过 对 数字 表示 的 每 个 抽 头 权 值 挑选 充分 大 的 比特 数 ,来 减 小 最 低 有 效 位 (LSB)。 

2) 在 保证 算法 收敛 的 同时 ,将 步 长 参数 尽 可 能 选 得 大 些 。 

防止 停顿 的 塘 一 个 方法 就 是 在 量化 器 的 输入 端 插入 幸 动 , 即 搬入 一 种 高 频 脉 动 ,该 量化 器 
置 于 抽 头 权 值 的 累加 器 中 (Sherwood & Bershad，1987)。 由 随机 序列 组 成 的 抖动 基本 上 可 使 量 
化 器 线性 化 。 换 言 之 ,加 人 持 动 可 以 保证 :对 于 将 梯度 量化 误差 向 量 中 。 再 次 建 模 为 白 品 声 来 
说 ,量化 器 的 输 和 是 足够 含 品 的 ( 即 1 的 各 分 量 在 时 间 上 上 互 不 相关 , 彼此 之 则 也 互 不 相关 ,而 
生 各 分 量 的 方差 皆 为 ze )。 当 以 这 种 方式 使 用 封 动 时 ,可 望 使 它 对 LMS 算法 整个 运算 的 影响 
最 小 。 这 和 通 常 能够 通过 对 该 抖动 的 功率 谱 吾 形 获得 ,从 而 使 它 能 被 输出 端的 算法 有 将 抑制 。 


13.2.5 参数 偏差 


除了 与 LMS 算法 有 关 的 数值 方 而 的 问题 外 ,算法 的 实际 应 用 中 还 会 遇 到 另 一 个 相当 难以 
对 付 的 问题 : 某 类 输 和 人 激励 会 导致 参数 偏差 , 即 尽管 输入 .扰动 和 估计 误差 都 是 有 界 的 ,但 LMS 
算法 中 的 参数 估计 值 或 抽 头 权 值 却 会 达到 任意 大 {Sethares et al. ,1986)。 尽 管 人 们 很 不 希望 出 
现 这 一 无 界 现象 ,但 当 算法 中 的 所 有 可 观测 信号 都 收敛 到 零 时 ,这 些 参 数 估 计 值 却 有 可 能 漂移 
到 无 限 大 。 因 为 扫 头 权 值 代表 算法 的 内 部 变量 ,所 以 可 将 LMS 算法 的 参数 仿 差 看 做 隐形 不 稳 
定 。 参 数 偏差 有 可 能 导致 新 的 数值 问题 ,使 算法 对 非 模型 扰动 的 敏感 性 增加 ,并 旦 使 算法 的 长 


期 性 能 下 降 。 





= epla) (13.21) 
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YT EBS Zee MER, mAT A es AS. A eT HY 


脱离 本 节 的 主题 , 转 而 介绍 这 些 概 念 。 


一 系列 随时 间 = 变化 的 承载 信息 的 抽 头 输入 向 基 ut nw) 用 于 将 实 M 维 参 数 空 间 甩 ”划分 


为 正 交 子 宅 间 ,这 里 M 是 搜 头 权 值 个 数 ( 即 可 用 自由 度数 )。 这 一 划分 的 目的 是 为 了 将 





自 适 应 


滤波 算法 (如 LMS 算法 ) 转 化 为 更 加 简单 的 子 系统 ,从 而 使 参数 估计 的 瞬 态 特性 与 滤波 器 激励 
之 间 建 立 起 紧密 的 联系 。 该 划分 如 图 13.3 所 示 。 我 们 要 特别 注意 区 划 梭 x 的 下 列子 空间 : 


1) 无 激励 子 空 间 AMx 1 维 向量 z ESAT AR" 的 任意 一 个 元 素 , 量 满足 以 
条 忻 : 
@ 向 量 z 的 欧 氏 范 数 为 1, 即 
|z| = 1 


e 对 于 所 有 迭代 (但 有 限 次 选 代 = 除外 ) ,向 量 z 与 抽 尖 输入 向 量 u(n) 正 交 。 


下 两 个 


zu(n) # 0, 是 指 有 限 的 (13,22) 
EAZ 表示 由 所 有 这 些 z 向 量 的 集合 所 张 成 的 RR“ 子 空间 , 则 子 空间 4, 称 为 无 激励 子 


空间 ,因为 它 所 张 成 的 参数 空间 下 “中 的 那些 方向 通常 只 受到 有 限 的 激励 。 


参数 空间 RM 
Fa 
沿 励 子 空间 


无 激励 

72m 
持续 激励 
ree 


图 13.3 ”以 激励 为 基础 对 参数 空间 及 EA 





2) 激励 子 空间 BAY. RATES. 的 正 交 补 空间 。 显 然 ,?, 也 是 参数 空间 
R* 的 子 空间 ,并 且 它 所 包含 的 参数 空间 R* 中 的 那些 方向 通常 受到 的 激励 却 是 无 限 


的 。 因 此 ,除了 零 向 量 外 ,属于 子 空间 .的 每 个 元 素 z 满 足 如 下 条 人 忻 


Zu(n) #0, 常常 无 限 的 (13.23) 


EAE, FERS. 也 称 为 激励 子 空间 。 





按照 激励 对 自 适 应 湾流 算法 影响 的 不 同 , 子 空间 9。 自身 也 可 分 解 为 三 个 正 交 子 空间 。 


这 三 个 子 空间 可 区 分 如 下 (Sethares et al. ,1986): 


@ 持续 激励 子 空间 ”用 5 表示 激励 子 空间 4。 中 的 任意 单位 向 量 z。 对 任意 正 整 数 m 和 


任意 的 « >0, 选 择 这 样 一 个 向 量 z, 使 它 满足 


Jui) >a Wasisnt+m 和 对 所 有 除了 nn 的 有 限 数 (13,24) 
给 定 正 数 m 和 常数 a AAS, m, a) RAER. 2) TAR E z KRAIT 
空间 ,那么 存在 -个 有 限 大 的 数 m 和 一 个 正 数 ao。 此 时 ,这 两 个 参数 的 取 值 可 使 子 
空间 fm,a) 达 到 最 天 。 换言之 ,对 所 有 的 到 >0 和 所 有 的 wa > 0,9. (my, a) BS, 


(m,a)o TEF, =F; mo,oao) 称 为 持续 激励 子 空间 ， iti My 则 称 为 激励 间隔 。 


在 持 
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续 激 励 子 空间 中 每 个 z 向 量 方向 上 ,在 有 限 个 长 为 m 的 间隔 之 外 ,至 少 存在 一 个 电 
平 为 un 的 激励 。 因 此 可 以 发 现 ,在 待 续 激 励 子 空间 中 , 抽 头 输入 向 量 Un) RRS 
的 频率 成 分 十 分 丰富, 足以 汶 励 控制 受 测 自 庆 应 滤波 算法 的 姐 态 特性 的 所 有 内 部 模式 
(Narendra & Annaswarny, 1989). 

9 通 减 激励 子 空间 ”考虑 -个 序列 uli) WE 


xx lip 
(Sa?) < oo (13.25) 


对 于 1<p< 0 iE PPPS BR oe ER ESE LP A AR Kr Ua AY 
范 数 定义 为 


jul, = (Sani) (13,26) 
注意 ,对 于 1 < p< om 若 序列 uf) EL? PR—T AR, , 刚 
Jim u(n) = 0 (13.27) 


令 z 表 示 激 励 子 空间 8. 中 任 单位 范 数 向 量 , 使 得 对 于 1< p< oa ane 
在 正则 线性 空间 EL? P, GS 表示 由 所 有 z 问 量 所 张 成 的 子 空间 。 子 空间 gz。 KA 
递减 激励 子 空间 ,在 这 个 意义 上 ,9s 的 每 个 方向 所 受 激 励 是 道 碱 的 。 对 任意 一 个 
z 关 0 的 向 量 , 下 列 两 个 条 件 

kuna) = a > 0 常常 无 限 的 


和 
lim z'u(z) = 0 

无 法 间 时 满足 。 事 实 上 ,可 以 看 出 递减 激励 子 空间 gs 与 持续 激励 子 空间 9 是 彼此 

正 交 的 。 

@ 其 他 性 质 的 激励 子 室 间 ” 设 用 5 Us 表示 持续 激励 子 空间 和 递减 激励 子 空间 了 。 
的 一 个 并 集 , 用 9。 表示 位 子 激励 子 空间 ,内 ,Fa 的 正 交 补 空间 。 子 空间 3。 HA 
其 他 性 质 的 激励 子 空间 。 在 子 空间 3。 中 的 任何 向 量 不 是 无 激励 ,也 非 持 续 沿 盎 , 且 
对 于 任何 有 限 的 p, 它 也 不 在 正则 线性 空间 Lr 中。 这 样 一 个 信号 的 例子 是 如 下 序列 

1 
~ Inf +2) 


现在 ,让 我 们 加 到 LMS 算法 中 参数 偏差 问题 的 讨论 。 可 以 发 现 ,对 子 无 激励 子 空间 和 持 


zu(n) n = 1,2,.., (13.28) 


续 激 励 子 空 间 中 的 有 界 激 励 和 有 界 扰动 而 言 ,由 LMS 算法 应 用 导出 的 参数 估计 实际 上 是 有 界 
的 。 然 而 ,在 递减 和 其 他 子 激励 空间 中 ,可 能 出 现 参数 偏差 (Sethares et al., 1986). BEH LMS 
算法 时 ,消除 参数 偏差 的 一 种 道 用 方法 就 是 在 算法 的 权 值 更 新 方程 中 引 人 泄 测 技 术 。 事 实 上 ， 
这 就 是 使 用 前 述 泄漏 LMS 算法 的 另外 一 个 原因 。 


13.3 递归 最 小 一 乘 算 法 


除了 LMS 算法 外 ,求解 自 适应 滤波 问题 的 另 一 种 方法 就 是 递归 最 小 二 乘 算 法 (RLS)。 如 
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第 9 章 所 述 ,RLS 算 法 的 特点 是 收 伍 速 率 快 ,收敛 时 对 输 人 数据 的 基本 相关 惩 阵 的 特征 值 扩散 
度 不 敏感 ,而 且 失 调 几乎 可 以 忽略 不 计 { 在 无 扰动 的 稳 态 条 件 下 ,失调 为 堆 })。 此 外 ,尽管 该 算 
法 对 计算 的 要 求 比 较 苛刻 {因为 它 的 计算 复杂 度 是 M 数量 级 ,这 里 M 为 抽 头 权 向 量 的 维 
数 ) ,但 是 它 的 数学 表达 尸 及 其 实现 方式 都 相当 简单 。 然 而 , 当 用 有 限 精 度 运算 实现 RIS 算法 
时 ,需要 考 碟 其 可 能 存在 的 数值 不 稳定 问题 。 

基本 上 ,RIS 算法 的 数值 不 稳定 性 或 很 强 的 发 散 性 ,类似 于 卡尔 曼 恋 该 实验 中 所 呈现 的 特 
性 ,因为 RLS 算 法 是 卡尔 曼 滤 波 的 一 个 特例 。 实 际 上 ,这 一 问题 可 追踪 到 这 样 一 个 事实 ， 
Riccati 方 程 中 时 间 更 新 佐 阵 必 m) 是 作为 两 个 非 员 定 答 阵 之 差 计 算 的 ,如 式 (9.19) 所 示 。 因 此 ， 
HERE P(n) 失 去 正定 特性 或 埃 尔 米 特 对 称 性 时 ,该 算法 就 可 能 呈现 很 强 的 发 散 性 。 这 正 是 表 
9.1 所 述 的 RLS 算 法 一 般 表达 式 可 能 发 生 的 问题 (Verhaegen , 1989). 

那么 ,在 上 出 现 数 值 误差 时 ,怎样 能 够 使 RLS 算 法 保持 矩阵 Pa) 的 埃 尔 米 特 对 称 性 呢 ? 从 
实用 的 角度 来 看 ,如 果 可 以 用 很 高 的 计算 效 溢 求 出 这 个 基本 问题 的 解 ,那么 它 显然 会 满足 这 一 
要 求 。 为 此 ,我 们 在 这 里 给 出 表 13.1 所 示 的 一 种 特殊 的 RLS 算法 。 该 算法 由 Yang(1994) 提 
出 ;为 了 保护 所 设计 的 矩阵 P(n) 的 埃 尔 米 特 对 称 人 性 ,他 使 用 了 一 种 计算 效率 很 高 的 方法 中。 
由 于 该 算法 只 简单 地 计算 由 算 子 Ti MERHER Pt nm 的 上 三 角 或 下 三 角 部 分 ,而 后 将 数 
值 填 人 矩阵 的 其 余部 分 ,以 保护 矩阵 的 埃 尔 米兰 特性 ,因此 改善 了 算法 的 计算 效率 。 此 外 , 算 
法 中 还 用 到 与 预先 计算 好 的 4 值 进 行 的 乘法 运算 代替 了 用 4 进行 的 除法 运算 。 


赛 13.1 计算 高 效 的 对 称 保护 型 RLS 算法 小 结 


算法 初始 化 , 即 令 
P(0) = 5 = 小 的 调整 参数 
w(0) = 0 
HETHA n=l, n, 计算 
a(n) = Pia — Lutn} 


(OS T+ olny) 
k(n} = rinjm{n) 

g(r) 
(n) 
(n) 


= din) — {n = 1ja(4) 
wa) = win — 1) + k(né*(a) 
p(n) = Trifa [P(n — 1) - k(aja”(n)]} 


13.3.1 误差 传播 模型 2 
根据 表 13.1 的 算法 ,计算 相关 和 矩阵 P(m) 的 闭 和 矩阵 所 涉及 的 递归 关系 式 如 下 : 


DYerhaegen(1989) 阅 述 了 另外 一 种 可 以 保持 对 称 性 的 RLS 算法。 尽管 Verhaegen 提出 的 算法 不 如 Yong 提出 的 算法 计 
算 效率 高 ,但 是 两 者 所 呈现 的 数值 特征 是 完全 一 样 的 。 

名 ”本 章 讨论 的 RLS 浪 波 器 的 误差 传播 模型 ,用 于 研究 线性 化 后 的 舍 人 传播 机 制 ,并且 重点 讨论 指数 稳定 特性 。 然 而 ， 
实际 上 ,RIS 恋 波 器 中 的 舍 人 误 痊 是 按 非 线性 机 制 传 播 的 。 因 此 ,使 用 线性 化 方法 只 表明 了 RLS 算法 的 局 部 指数 
稳定 性 ,而 并 不 能 指出 轮 如 误差 应 小 到 什么 程度 才能 够 在 爸 轿 式 (13.35) 和 式 (13,37) 中 的 非 线 性 (二 阶 ) 项 影响 时 ， 
AEE GR MEE. Lavas 和 Regalia(1999) 在 他 们 的 论文 中 研究 了 无 论 从 嵌 论 上 还 是 从 实践 上 而 于 都 很 重要 
的 非 线性 问题 。 在 他 们 的 论文 中 , 嘻 出 了 长 要 求 的 界限 ,以 便 保 证 标准 RS ER AAA PA RRA 
和 一 致 性。 这 些 界限 可 按照 指数 加 权 因 子 和 输入 信号 适应 条 件 来 表示 。 
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a(n) = PU — ljus) (13.29) 
1 
r(m) = TASEA (13.30) 
K(n) = r(a)a(r) (13.31) 
P(n) = Tri{a [PCa ~ 1) 一 (am (13.32) 


式 (13.32) 中 ,1 是 指数 加 权 因 子 。 下 面 ,我 们 在 假设 大 其 他 量化 误差 的 条 件 下 ,讨论 n -1 时 
刻 的 单个 量化 澡 差 如 何 向 相继 的 递 基 过程 传 播 。 特 别 地 , 令 


Pa 1)= Pr - 1) + yin- 1) (13.33) 
UPR EE n(n- 1) 是 在 量化 Pln - 1) 时 产 咎 的 。r(z) 相 应 的 量化 值 为 
T(t) = n(n) + yl = lju{n) (13.34) 


4 r (nET r(n) 的 量化 值 , 则 利用 定义 式 (13.30), 可 以 写 出 
1 


A A ayan) 











( 
a “(nmin — ate) 
A+ oi(n)n(n) A+ a8 ()a(n) (13.35) 
a wna = Luin) o, 
A+ a(n) ar( 22) (A + after + O(n) 


uw (nnn — 4)atn) 
(A+ otn)nm(n)y 


Ofn) 


= Fi 一 


式 中 O(n A |n, 7 的 数量 级 。 
在 理想 情况 下 ,无 限 精度 标量 *(n) 是 非 抽 的 ,其 取 值 介 于 0 A 之 间 。 另 一 方面 ,如 果 
(nn(n) 小 于 4, 且 X 远 小 于 1, 则 由 式 (13.,35) 可 知 ,在 有 限 精度 条 件 下 ,r《n) 可 能 取 绝 对 
值 太 于 Va 的 负数 。 当 出 现 这 种 情 沉 时 ,RLS 算法 将 呈现 很 强 的 发 散 性 (Bottomley & Alexander, 
1989)”, 
增益 向 量 k(n HE SA 
k(n) = innn) 


= k(n) + mdni) One) 


式 中 

n(n) = r(n)(I — k(n) (nn) n(n — 1)u(n) + Omp) (£3.37) 
是 增益 向 量 量化 误差 。 最 后 ,由 式 (13.32) 可 见 ,计算 更 新 的 道 相 关 和 矩阵 P na) 所 产生 的 量化 误 
差 可 表示 为 





(D Bottomley 和 和 exander(1989) 在 他 们 的 论文 中 指出 ,因子 -fm) 的 油 化 征程 很 好 地 表示 了 该 过 程 强烈 的 发 散 特性 。 因 
为 该 因子 先 增 大 ,而 后 突 热 寞 为 负数 。 
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np(t) = AI- kine" (n(n — YT — k(n” (n) (13.38) 

式 中 忽略 了 OM, 

假设 在 前 面 的 授 代 这 程 中 条 件 Pn - 12) = 9, Ce - 成立, 则 在 式 (13.38) 的 基础 上 ,可 
党 试 推断 出 my (nr) = 和 Cn), 即 表 13.1 所 述 的 RIS 算 法 在 运算 过 程 中 保持 埃 尔 米 特 对 称 忻 。 
在 下 文中 ,我 们 将 通过 RLS 算法 公式 中 不 会 出 现 崩溃 现 浓 这 一 扣 实 ,来 证 明 以 上 断言 的 正确 
性 。 当 然 , 在 此 过程 中 ,还 假设 算法 不 会 出 霓 停 顿 志 象 。 

式 (13.38) 以 P(n -1) 中 的 单个 量化 误差 为 基础 定义 了 表 13.1 概述 的 RES BER Fe 
播 机 制 。 在 单个 量化 误差 m,n -1) 通 过 算 汰 传播 的 过 程 中 , 秆 阵 I -k(n)u”{n) 起 着 非常 重 
要 的 作用 。 利 用 式 (9.22) 半 增益 向 量 所 做 的 原始 定义 , 邵 


k(n) = @'(n)u(n) (13.39) 
Ay LAS i 
I —k(nju¥(n) = I- @'(n)u(n)u"(n) (13.40) 
其 次 ,由 式 (9.12) ,我 们 有 
Pin) = AD(n — 1) + unjut(n) (13.41) 
EROLLA POR] HE Dn), HEE g 
1- un (n) = A0 (nDia — 1) (13,42) 
比较 式 (13,40) 与 式 (13.42) ,容易 推断 
I- kinji{n) = AD (n} O(n ~ 1) (13.43) 


假设 我 们 现在 考虑 man 时 引起 的 量化 误差 n (no) 的 影响 。 则 当 使 用 表 13.1 所 示 的 
RIS 算 法 ,并 按照 式 (13.38) 所 示 的 误差 传播 模型 来 保持 窍 阵 P(a ) 的 埃 尔 米 特 对 称 性 时 ,可 得 
出 量化 误差 W (no) 的 影响 变 为 在 n 时 刻 进行 它 的 修正 ,从 而 得 到 


mla) = A ™Mep(n, non plro le" (a, no) n =n (13.44) 
式 中 
p(n, no) = (I — k(n)u%(n))---(E~ kng 十 lastao 十 1 (13.45) 
是 转移 矩阵 。 在 式 (13.45) 中 反复 使 用 式 (13.43) , 则 用 等 效 形 式 可 将 转移 矩阵 表示 为 
eln, no) = anmone) (13.46) 
FREE MAL ERO. 8) PRENET ] 
O(n) = Ai) (13.47) 


在 此 定义 基础 上 , 当 n 充分 大 时 ,就 将 抽 头 输入 向 量 an) 称 为 均匀 持续 激励 。 当 然 , 这 里 要 
假设 a.b 和 VN 存在 ,并 且 满 足 0< a < 8< om 和 如 下 的 条 件 (Liung & Ljung, 1985) 

aA<@(n)< bl Min SN (13.48) 
式 (13.48) 中 使 用 的 符号 是 为 了 说 明和 矩阵 (ne IEE, SE EA LA RE 
印 (m) 的 正定 性 ,而 且 可 以 保证 其 矩阵 范 数 在 ne NABH, BO 
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CRES < ttt n> N (13.49) 
加 公式 (13.46) 的 转移 矩 险 @(n ,no ) 并 引用 矩阵 范 数 的 相 下 一致 性 9, 可 以 写 册 
heln, no < AID Cn) > Df) (13.50) 
其 次 ,由 式 (13.49), 可 将 式 (13.50) 改 写 为 
lela, no)i < Č |b) (13.51) 


最 后 ,我们 可 利用 式 (13.44) 的 误差 传播 方程 将 mtn) 的 欧 氏 范 数 表示 为 
I < A p(n noll npn = DI pn, aol 


由 让 (13.51), 上 式 可 改写 为 
[MAAE "mM n>n (13,52) 


式 中 
1 
M=- | 更 Co 本 me — 1)) (13.53) 


是 一 个 正 数 。 式 (13.53) 表 明 表 13.1 的 RIS 算法 是 指数 稳定 的 。 因 为 只 要 < 区 ( 即 只 要 算法 
具有 有 限 记 忆 ) ,在 时 刻 n 由 相关 和 矩阵 PCr, ) 道 矩阵 产生 的 单 量 化 误差 n ( mo) 就 按 指 数 方式 
PR, RAZ HUTA RICH RLS 算法 公式 的 单 误差 传播 是 收缩 的 。Yexhaegen 
{1989) 用 计算 机 模拟 的 方法 证 实 了 这 个 结论 的 有 效 性 。 

然而 ,要 注意 的 是 , 当 记 忆 增 强 即 A = 1 时 , 单 误 芋 传播 并 不 是 收缩 的 ;其 原因 是 ,此 时 即 
ag ATE nln) 是 持续 激励 的 , pinn <1 A | pin, no sl 也 都 不 成 立 ; 于 是 ,数值 误 
差 不 断 累积 ,最 终 将 导致 算法 发 散 (Yang,1994)。 另 外 ,Sloek 和 Kailath (1991) 经 过 独立 的 研究 
后 也 指出 , 当 =1 时 ,RLS 算法 中 的 误差 传播 机 制 是 不 稳定 的 ,具有 随机 游 动 型 特性 。Andalan 
和 Alexander( 1987) 用 实例 证 实 了 这 种 数值 发 散 现象 。 


13.3.2 停顿 


如 同 LMS 算法 一 样 ,第 二 种 形式 的 发 散 称 为 停顿 ,发 生 在 RLS 算法 中 的 抽 头 权 值 停止 自 
适应 的 时 候 。 特 别 地 ,停顿 发 生 在 矩阵 P( mn) 量化 后 的 元 素 变 得 很 小 时 ,以 致 于 此 时 和 溢 以 Pin) 
相当 于 乘 以 一 个 零 矩阵 (Bottomley & Ajexander，1989)。 显 然 ,无 论 以 何 种 方式 实现 RLS 算法 都 
可 能 引起 停顿 。 

停顿 与 指数 加 权 因 子 4 及 输入 数据 wu(n) 的 方差 of HRA. Bala 接近 于 1, 则 由 相 
SESE O(n) EL A On BCE RA 








中 2S A AERE BB,; 则 它们 之 间 的 相互 一 致 性 可 表示 为 
| AB] = JA] - [BI 
ILH E). 
D Ljung 和 Ljung 首先 于 1984 年 严格 地 证 明了 ,RIS 算法 中 的 单 误差 传播 是 指数 稳定 的 。 Verhassen(1989) 则 更 加 详细 
地 研究 了 这 个 问题 。 随 后 ,Slock 和 Kailath( 1991) 及 Yang(1994) 又 在 各 自 的 论文 中 进一步 证 实 了 RLS PREM RSE 
播 机 制 兵 有 指数 稳定 性 。 
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Epin] = S 对 于 大 的 如 (13.54) 
[我 们 将 在 第 14 章 中 证 明 这 一 近似 关系 , 见 式 (14.49)。j 当 ) 接近 于 工时 ， 
E{P(n)] = E[@®1(n)] = (E[@(n)]y! (13,55) 
然后 ,将 式 (13.54) 代 入 式 (13.55), 可 以 得 到 
ElPtn)] 二 (1 一 A)R' 对 于 大 的 (13.56) 


AP 好”' 是 矩阵 RE, GOR hi A E n(n) 的 信号 从 均值 为 0 的 广义 平稳 过 程 中 
采样 ,出 可 以 得 到 如 下 关系 式 


1 
R=—R 
la (13.57) 


HPREMBR LMC! SEMA LADS 1 的 归 一 化 相关 和 抢 阵 ,ae 是 输入 数据 采 
样 值 w(n) 的 方差 。 因 此 , 式 (13.56) 可 改写 为 


E{P(n)] = (24): 对 于 大 的 (13.58) 


式 (13.58) 表 有 明 , 如 果 指 数 加 权 因 子 A 接近 1 或 输入 数据 的 方差 m 很 大 时 ,RLS 算法 可 能 出 现 
停顿 。 因 此 ,通过 在 逆 相 关 和 矩阵 P(mr) 计 算 中 使 用 充分 大 的 累加 器 位 数 , 则 可 防止 标准 RLS 算 
法 出 现 停顿 。 


13.4 平方 根 自 适应 滤波 器 


在 第 11 章 中 ,我 们 研究 了 两 类 特殊 的 平方 根 自 适 应 滤波 器 , 即 基于 QR 分 解 的 递归 最 小 
二 乘 (OR-RLS) 算 法 和 道 QR-RLS 算法 。QR-RIS 算法 是 平方 根 信息 滤波 器 的 一 个 特例 ,而 逆 
QR-RLS 算法 则 是 平方 根 协 方差 (卡尔 曼 ) 滤 滤器 的 一 个 特例 。 


13.4.1 QR-RLS 算法 


通常 认为 ,求解 递归 最 小 二 乘 估 计 问 题 最 好 的 数值 方法 之 一 是 QR 分 解 , 这 是 因为 它 有 如 
下 两 个 重要 特性 : 


1) QR 分 解 直接 对 输入 数据 进行 运算 。 
2) QR 分 解 只 使 用 数值 特性 很 好 的 西 旋 转 ( 即 Givens 旋转 )。 


特别 地 ,因为 QR-RLS 算法 在 运算 过 程 中 传播 的 是 由 关 和 矩阵 妥 (n) 的 平方 很, 而 不 是 下 (ni 
本 身 ,因此 中 *(n) 的 条 件数 等 于 加 (n) 的 条 件数 的 平方 根 。 这 将 引起 基于 QR 分 解 的 算法 的 
数据 动态 范围 显著 变 小 , 同 祥 也 导致 比 传播 中 (an) 的 标准 RIS 算法 更 精确 的 计算 。 此 外 ,有 限 
精度 QR-RIS 算法 在 有 界 输 入 /有 界 输出 (BIBO, bounded-input, bounded-output) 意 义 下 是 稳定 的 
(Leung & Haykin, 1989; Liu et al. ,1991)。 然 而 ,需要 强调 的 是 , 当 算 法 在 有 限 精 度 条 件 下 工作 
it ,OR-RLS 算法 的 BIBO 稳定 性 并 不 能 保证 由 算法 计算 获得 的 各 个 量 在 任何 情况 下 都 有 意义 
(Yang & Bihme，1992)。 特 别 地 ,一 个 酉 旋转 ( 即 一 系列 Givens 旋转 ?可 用 来 消除 左 阵列 中 的 革 
一 向 量 ,并 对 左 阵 列 中 其 他 相关 各 项 进行 操作 。 内 部 计算 中 的 一 个 扰动 可 能 会 在 旋转 角 中 产 
生 相 应 的 扰动 ,从 而 在 右 阵列 的 旋转 项 中 引入 另 一 个 数值 误差 源 。 这 些 误差 相应 地 又 会 在 识 
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转角 后 续 计 算 中 产 牛 进一步 的 扰动 。 其 结果 就 像 我 们 得 到 了 一 个 复杂 参数 的 反馈 系统 ,但 是 
又 不 完全 清楚 这 个 反馈 系统 是 否 是 数值 稳定 的 。 

Yang 和 Bshme(1992) 在 他 们 的 论文 中 介绍 了 由 实验 得 出 的 结 沦 , 即 当 和 <1 时 ,QR-RIS 算 
法 是 数值 稳定 的 。 他 们 在 实验 中 使 用 该 算法 对 自 回 目 (AR) 过 程 进 行 了 自 适 应 预测 。 论 文中 
介绍 的 所 有 计算 机 仿 点 程序 可 以 在 任何 一 竺 使 用 浮 点 运算 的 PC 机 下 和 运行。 为 了 在 人 台 理 的 仿 
真 时 间 内 观测 到 有 限 精度 效应 ,在 不 影响 指数 的 前 提 下 , 道 过 在 预定 的 位 置 蕉 断 尾数 BP 
点 表示 中 有 效 的 尾数 比特 数 。 在 Yang 利 Bihme 介绍 的 实验 中 ,尾数 的 长 度 分 别 是 532,12 和 5 
比特 。 实 验 结果 表明 , 字 长 的 变化 对 算法 收 敏 特性 的 影响 很 小 。 此 外 ,Yang 和 Böhme 还 证 明 
了 当 和 =1 时 ,QR-RLS 算法 发 散 。 

Ward 等 人 1986) 在 进行 自 适 应 波束 形成 时 也 通过 实验 证 时 了 当 <1 时 ,QR-RILS 算法 是 数 
值 稳定 的 。 他 们 还 特别 证 明了 , 当 表 示 运 算 精度 的 比特 数 相同 时 ,QR-RLS 算法 的 性 能 明显 优 
于 Reed 等 (1974) 所 述 的 样 值 矩阵 求 逆 算 法 。 


13.4.2 © QR-RLS 算法 


Ii OR-RLS BEER AEE P(r), BUDA CREE Pin) = 下 (nn) 的 平方 根 。 尽 管道 QR- 
RLS 算法 不 同 于 运算 过 程 中 传播 D (ni QR-RIS 算 法 ,但 是 这 两 种 算法 有 一 个 共同 的 特性 ， 
即 它们 都 避免 在 运算 过 程 中 传播 各 自 矩 阵 的 埃 尔 米 特 逆 此 阵 。 因 此 ,类 似 于 QR-RIS HE, 
OR-RLS 算法 也 有 QR 分 解 所 具有 的 良好 数值 特性 。 

X à <1 E}, i QR-RLS 算 法 中 (而 且 就 此 而 言 ,在 QR-RLS 算 法 中 ) 的 单 误差 传播 是 指数 稳 
定 的 。 这 个 论断 的 合理 性 遵循 第 13.3 节 介 绍 的 RLS 算法 的 数值 稳定 性 分 析 。 

然而 , 当 和 =1 时 , 单 洪 差 传播 不 是 收缩 的 。 由 此 可 以 推断 ,量化 误差 的 累积 会 导致 省 QR- 
RLS 算法 的 数值 不 稳定 (发 散 ), 这 个 现象 已 为 计算 机 模拟 实验 所 证 实 2。 对 QR-RIS 算法 本 
身 , 也 有 类 似 的 论断 ,而 且 Yang 和 Bshme{1992) 也 用 实验 验证 了 这 一 论断 的 正确 性 。 


13.4.3 评注 小 结 
总 之 ,有 限 精度 环境 下 对 平方 根 自 适应 滤波 器 工作 的 要 求 , 可 以 描述 如 下 多 ， 


© 如 果 仅 要 求 估计 误差 e(n), QR-RLS PKA BUY. 
se 如 果 要 求 权 向 量 Wwin), 道 QR-RIS 算法 是 一 个 很 好 的 候选 者 。 
o 一 般 不 推荐 使 用 广义 的 OR-RLS 算法 (见习 题 7)。 











13.5 ” 阶 递 归 自 适应 滤波 器 


在 阶 递 归 自 适应 滤波 算法 {就 此 而 言 , 即 至 今 已 知 的 所 有 快速 RLS 算法 ) 中 ,负责 联合 过 
程 估 计 的 特殊 部 分 从 属于 负责 前 向 和 后 向 线性 预测 的 部 分 。 因 此 ,这 类 自 适 应 滤波 器 的 数值 
稳定 性 在 很 大 程度 上 取决 于 预测 部 分 如 何 进行 其 计算 。 


D Yang, B. 的 个 人 通信 ,1995。 
员 ” 这 里 介 甸 的 评注 小 结 是 基于 Yang 的 个 人 通信 (1995)。 
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13.5.1 QRD-LSL 算法 


ER 12.5 总 结 的 基于 OR 分 解 的 最 小 二 环 格 型 (QHRD-1SL) 算 法 中 ,其 测 部 分 由 形 个 格 型 
级 的 预测 部 分 组 成 ,这 里 M 是 有 最终 的 预测 阶 数 。 预 测 部 分 的 每 一 级 以 Givens 旋转 形式 使 用 
OR 分 解 进 行 计算 。 其 结果 是 将 输 人 数据 序列 ula) ,wtn 一 1,…,u(n 一 前 ) 转 换 为 相应 的 归 
一 化 角度 的 后 向 预测 误差 cpg ln) ,es (nn),… esfa) 序 列 。 如 给 定 后 一 个 序列 , 则 联合 过 程 
估计 也 利用 QR 分 解 一 级 一 级 此 进行 计算 ,最 终 的 结果 是 某 个 期 望 啊 应 dn ee 
计 。 换 言 之 ,贯穿 算法 的 所 有 运算 都 是 采用 QR 分 解 完成 的 。 
从 数值 的 观点 来 看 ,QRD-LSL 算 法 具有 如 下 期 望 特性 ; 
1) 应 用 Givens 旋转 所 涉及 的 正 范 和 余 汞 部 有 很 好 的 数值 特性 。 
2) 算法 具有 良好 的 数值 一 致 性 ,这 是 因为 从 一 个 循环 转 到 另 一 -个 循环 时 ,算法 的 每 -- 级 
只 传递 那些 为 满足 运算 需要 的 最 小 叮 能 的 参数 , 即 避 免 传 播 (其 他 ) 有 关 参 数 。 交 12.5 
示 出 由 算法 的 这 三 个 部 分 传播 的 参数 ,如 下 肯 。 





项 出 参数 传 所 
前 向 预测 BiR — 2), panin- Irn- 1) 
后 向 预测 Pi Gt — 1), Pym ie 1) 

磋 合 过 程 估计 Pailin- 1) 





3) 分 别 涉 及 角度 归 一 化 估计 误差 ej ,1(n)、es m1(n) 和 s(n) 的 阶 更 新 运算 辅助 参数 
Prm-l { h= 1} Pimi (n = 1) #l Pm-1 ( fi 一 1) 都 是 直接 计算 的 。 也 就 是 说 ,用 来 计算 每 仿 
辅助 参数 的 时 间 更 新 递归 过 程 申 涉 上 总 局 部 误 善 反馈 。 这 种 反馈 形式 是 保证 算法 数值 
BEATER. 

在 用 实验 方式 证 明 ORD-ISL 算法 具有 数值 稳定 性 的 各 种 文献 中 ,包括 Ling( 1989). Yang 和 
Bihmer1992) , McWhirter 和 Proudler(1993) 以 及 Levin 和 Cowan( 1994) 等 所 做 的 计算 机 模拟 工作 。 
所 有 这 些 实验 都 证 明了 QRD-LSL 算法 的 各 种 变形 的 数值 鲁 棒 性 。 尤 其 是 Levin 和 Cowan (1994), 
在 他 们 的 论文 中 评价 了 8 种 不 同类 型 的 RLS 自 适 应 滤波 算法 在 有 限 精度 条 件 下 的 性 能 。 文 中 给 
出 的 结果 证 明 : 属 于 平方 根 信息 范畴 {以 QRD-LSL 算法 为 例 ) 的 算法 ,其 性 能 优 于 属于 方差 范畴 的 
算法 。 此 外 ,在 所 研究 的 8 种 算法 中 ,数值 不 精确 对 QRD-LSL 算法 的 影响 最 小 。 

QRD-ILSL 算法 数值 鲁 棱 性 的 进一步 证 据 出 现在 Capman 等 (1995) 的 论文 中 。 他 们 介绍 了 
一 种 多 速率 方案 与 QRD-ISL 变形 算法 相 结合 的 回音 消除 器 。 文 中 的 模拟 结果 表明 ,所 求 得 的 
解 对 回音 消除 问题 具有 数值 鲁 棒 性 。 

13.5.2 递归 LSL 算法 

接 下 来 我 们 讨论 递归 最 小 二 乘 格 型 算法 。 由 第 12 章 的 讨论 可 知 , 这 些 算法 是 QRD-LSL 
算法 的 特例 。 事 实 上 ,它们 是 通过 先 对 0RD-LSL 算法 的 各 阵列 进行 平方 ,然后 再 比较 各 项 的 
方法 导出 的 。 考 虚 到 在 算法 数值 特性 的 范畴 内 , 某 个 量 取 平方 对 数值 特性 的 影响 与 该 最 取 平 
方 很 的 影响 正好 相反 ,因此 尽管 递归 LSL 算法 是 由 QRD-LSL 算法 导出 的 ,但 在 有 限 精度 条 件 
下 ,其 性 能 总 是 避 于 QRD-LSL 算法 。 


498 自 适 应 滤波 器 原理 


通过 采用 密级 格 型 预测 露 将 输 和 人 数据 转换 为 梢 应 的 后 向 预测 误差 序列 , BA LSL 算法 可 
迅速 求 出 递归 最 小 二 乘 潭 题 的 解 . 这 种 变换 可 看 做 经 典 Gram-schmidt 止 交 化 过 程 的 一 种 表示 
形式 , 它 在 数值 上 是 不 精确 的 、 因此 ,传统 的 递归 LSL 算法 { 它 建立 在 后 验 或 先 验 预 漳 误差 的 
基础 上 ) 数 值 特性 较 差 。 克 服 递 妇 LSL 算法 数值 精度 问题 的 实用 方法 的 关键 是 ,直接 更 新 前 向 
和 后 向 反射 系数 ,而 不 是 先 计 算 加 检 前 向 和 后 向 预测 误 盖 及 其 下 相关 的 各 个 和 然后 再 求 侣 适 
量 之 比 ( 如 在 传统 的 递归 TsL 算 法 中 那样 )。 带 有 误差 反馈 的 递归 LSL 算法 (Ling & Proakis, 
1984a) 就 是 这 样 做 的 , 表 12.7 中 总 结 的 算法 即 为 它 的 一 个 实例 。 对 于 规定 的 定点 表示 , 带 有 
误差 反馈 的 递归 LSL 算法 在 计算 前 向 和 后 回 反 射 系 数 时 数值 精度 要 高 得 多 ,而 前 向 和 后 向 反 
射 系 数 是 任何 递归 LSL 算法 的 关键 参数 。 因 此 ,尽管 由 于 有 限 精 庶 效 应 会 引起 量化 误 益 ,但 是 
直接 计算 前 血 和 后 向 反射 系数 对 保持 输 和 人 数据 首相 关 矩 阵 的 正定 性 上 共有 全 面 的 影响 。 所 以 ， 
就 所 关心 的 数值 特性 而 言 , 带 有 误差 反馈 的 递归 LL 算法 优 于 传统 的 递归 1SL 算法 宇 。 
13.5.3 梯度 自 适应 格 型 算法 


阶 递归 自 适 应 滤波 算法 包含 (不 精确 ) 梯 度 自 适 应 格 型 (GAL) 算 法 。 梯 度 自 适应 格 型 算法 
直接 对 反射 系数 (算法 的 每 个 步 包 含 一 个 系数 ) 进 行 夫 代 ( 见 第 12.1 节 )。 换 言 之 ,在 算法 的 运 
算 过 程 中 已 经 构造 了 某 种 形式 的 洪 营 反馈 机 制 。 按 照 前 面 所 佑 的 讨论 ,我们 也 希望 CAL 算法 
能 呈现 良好 的 数值 特性 。 事 实 上 ,这 已 由 Satorius 等 (1983) 给 出 的 计算 机 模拟 结果 所 证 实 。 


13.6 REI IP] HE IR ae 


本 节 我 们 将 研究 快速 横向 滤波 器 (FIF, fast transvarsal filter) ,并 以 此 结束 有 关 自 适应 滤波 
SMSC MTC. SRB Bibs Bae PIP 算法 也 是 利用 输入 数据 的 时 移 不 
变性 来 求解 递归 最 小 二 乘 问 题 。 

如 图 13.4 所 示 ,FTF 算法 使 用 共享 一 个 输入 的 四 个 独立 的 横向 滤波 帘 。 这 四 个 滤波 器 执 
行 的 任务 各 不 相同 : 


e 递归 前 向 线性 预测 

s 递归 后 向 线性 预测 

o 过 归 计 算 增益 向 量 

o 期 望 响 应 的 递归 合计 

表 13.2 给 出 FTF 算 法 的 总 结 肥 。 这 里 所 用 的 符号 与 第 12 章 描述 该 算法 时 所 用 的 符号 相 
亲 。 该 算法 的 优势 在 于 , 它 能 直接 计算 横向 滤波 器 模型 系数 。 

遗憾 的 是 , 当 用 有 限 精 度 运 算 实 现 FIF 算法 时 ,数值 误差 会 导致 算法 发 散 。 数 值 发 散 一 定 先 于 
算法 丢失 其 最 小 二 乘 特 征 。 特 别 地 ,FIF 算法 含有 不 稳定 的 传播 模式 。 这 些 传播 模式 在 使 用 精确 的 
算术 时 永远 不 会 激发 ,但 是 在 使 用 有 限 精 度 运算 时 却 能 显现 出 来 (Slock, 1992; Regalia, 1992)。 








@ North 等 [1993) 用 计算 机 模拟 比较 了 32 比特 直接 更 新 递归 LSL 算法 { 即 带 有 误差 反馈 的 算法 ) 与 32 比特 间接 更 新 递 
归 LSL EMS. MR NTR. WER ARR LSL 算法 中 ,经 过 大 约 1 
次 延 化 后 ,产生 的 数字 误差 积 旬 将 导致 算法 在 干扰 消除 方面 的 性 能 较 之 直接 更 新 递归 LSL 算 法 下 降 约 20 dB. 

名 ”关于 FIF 算法 的 推导 , 见 Cloth R! Kailadh( 1984) .Haykin(1991) .Slock 和 Kailath( 1993311 Bt Sayed 和 Kailh HFA RIER. 
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13.4 ”预测 阶 数 为 MAFF 算法 运算 过 程 框图 


表 13,2 FTF 算法 小 结 





预测 : 
nuin) = ayin = 1) Ways (72) 
fat) = Yain — limula) 
Fuln) = AF y(n — 1) + al) fle) 








dp 一 
YM+tk ) yn } 
一 _ 0 Talr) 
b= | gan -p t Suey 


aun) = ale) | 
Bult) = ABy(n ~ Ew mil) 

yall) = [1 一 Bhar (OR aes. ya 
挽救 ”变量 = [1 T BEC) yy E area uatr) 
byin) = yu(@) Bul) 

Buin) = ABulr — 1) + Bulnjbiln) 


culn) = eula = 1) ~ Bo EP | 
RR: 
(n) = dn) — wiht — Tan 人 


a = yuln)éu(n) 
min) = Wyn — 1) + ky(n)etn) 


表 注 :wwr1(n) 是 归 一 化 增益 向 量 kw,14n) 的 最 后 一 个 分 晤 。 


“如 果 变 量 是 负数 就 进行 挽救 ; 
存 情 wwfna) 作 为 初始 条 件 ,并 重新 用 计 增 广 代价 函数 


Ein) = pA wt) — WC}? + Sale 


式 中 因子 py >0, 以 保证 代价 函数 为 二 次 函数 。 
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13.6.1 PRE 


对 FTF BH See eA AEE ALA, HP RAR Ee Be, BP PA PE 
量 会 变 为 负数 (Lin.1984; Cioffi & Kailath,1984)。 研 究 问题 中 的 这 个 量 等 于 M 阶 预 测 误差 与 
于 +1 阶 预测 误差 变 换 因 子 之 比 , 即 


2 Yman} 
Euin) il 


An) (13.59) 
我 们 将 (nn) 称 为 挽救 变量 (rescue variable)。 在 无 限 精 度 的 理想 条 件 下 ,0=< ty (a)<l, AF 
有 限 精 度 效应 ,将 会 违反 Ey(n) 这 个 允许 值 的 约束 。 
本 以 等 效 地 将 挽救 变量 表示 为 

Sule) = 1 Buln) Yuanlian) (13.60) 
式 中 p ERA ETRE. ky CO ae ky, (Cn RTO. 
式 (13.60) 表 明 , 为 了 保证 FTF 算法 的 数值 稳定 性 ,必须 对 By Cn) Yua Ce) A ya Cn) | 
和 入 ,wa) 的 计算 施加 严格 的 控制 。 


13.6.2 误差 反馈 


FTF 算法 的 一 个 重要 特征 就 是 刚才 提 到 的 芋 个 量 [ 即 By (a)、Yw RE kusru Cn) 1 中 的 
每 一 个 都 用 两 种 不 同 的 方法 进行 计算 


e 通过 输入 数据 疝 明 的 模 向 滤波 

9 通过 某 些 标量 的 处 理 

具体 来 说 ,考虑 后 向 先 验 预 测 误 差 By(n) 的 计算 。 显 然 , 可 以 按 下 式 计算 这 一 误差 , 即 
Win) = y(t — uwr(n) (13.61) 


SoH eln- DFE n RE Fe) REE TS AR oy, CTAB A E o 
AS (Cn) PR ERORE. A 13.2 总 结 的 FIF 算法 容易 看 出 ,Bu(a) 可 表示 为 

Biria) = AByuln — Erman) (13.62) 
zp a 是 指数 加 权 因 子 ,多 。(m - 1) 是 最 小 后 向 先 验 预 测 误 差 平 方 和 , hy,i,ww1(n) 是 归 一 化 增 
益 向 量 kw,1(n) 的 最 后 一 个 分 量 。 符 号 BY (n) 中 的 上 标 (s) 表 示 标 量 运 算 。 

当 使 用 无 限 精 度 运算 时 ,计算 式 (13.61) 和 式 (13.62) 所 述 By(n) 的 丙 个 不 同方 法 将 得 到 
相同 的 结果 。 然 而 , 当 使 用 有 限 精度 运算 时 ,其 结果 将 各 不 相间 [对 于 Yi A hei On), 
也 有 类 似 的 结论 ]。 

从 计算 Bu) 7a) (na) 和 天 win) 不 同方 法 得 到 的 差 信 号 可 看 做 误差 传播 机 制 的 输 
出 信和 号。 更 重要 的 是 ,它们 可 用 在 反馈 方案 中 ,用 来 影响 首次 产生 的 传播 误差 。 这 实际 上 就 是 
后 面 (将 要 讨论 的 ) 作 为 稳定 FIF 算法 的 误差 反馈 法 的 基本 思想 (Slock & Kailath, 1991; Botto & 
Moustakides, 1989). ‘REBUHE ,这 个 差 倩 号 可 被 反馈 到 FTF 算法 中 的 任何 一 点 而 不 改变 RIS 算法 
的 特征 ,因为 可 用 恰当 的 运算 使 这 些 信号 消失 。 在 Slock 和 Kailath 提出 的 方案 中 ,就 是 将 差分 
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信号 反馈 到 实际 上 与 它们 有 关 的 特定 盟 的 计算 过 程 中 。 
例如 ,考虑 如 何 使 B( 5) 的 反馈 稳定 问题 。 若 给 定 分 别 根据 式 (13.61) 和 式 (13.62) 计 算 
出 的 两 个 有 限 精 度 值 BY? CA BY? Cn) , 则 可 用 这 两 个 值 的 凸 织 合 来 定义 By(n) 的 最 终 值 , 即 
Buln) = BWin) + K(BYP(n) 一 Bwin) 
= KBW (n) + (1 — Ken) 
式 中 帮 是 反馈 常数 。 燃 似 的 方法 也 可 用 来 稳定 我 们 所 关心 的 其 他 两 个 参数 yi (rn) 和 
kusia n)o 
在 FIF 算法 中 ,有 好 儿 个 地 方 要 用 到 名 (nm) 这 个 量 。 这 就 证 在 各 种 误差 反馈 方案 中 使 用 
不 同 的 反馈 常数 K 的 原因 ,其 日 的 是 为 了 在 影响 FTF 算法 的 误差 传播 方面 有 点 大 的 自由 度 
(Slock & Kailath,i991)。 采 用 这 种 方式 选择 反馈 机 制 从 直觉 上 看 是 很 吸引 人 的 ,而 且 可 以 稳定 
误差 传播 中 的 所 有 不 稳定 模式 ,而 这 正 是 误差 反馈 的 最 终日 的 。 稳 定 算法 的 代价 是 算法 的 计 
算 复 杂 度 略 有 增加 , 即 从 7M BBM + Mi M 是 滤 波 器 的 长 度 。 
因此 ,可 将 稳定 的 FTF 算法 的 操作 总 结 如 下 : 


e 使 用 前 向 和 后 向 线性 预测 ,算法 的 计算 复杂 度 与 滤波 器 长 度 M 旺 线性 关系 。 然 而 , 算 


(13.63) 


法 在 有 限 精度 条 件 下 会 出 现 不 稳定 现象 . 
9 误差 反馈 用 来 把 N 阶 元 余 度 重新 引 人 算 法 中 。3| 人 人 宛 余 度 的 目的 是 为 了 增强 算法 对 
抗 递归 过 程 中 所 发 生 误 差 的 能 力 。 
e 仅 当 指数 加 权 因 子 a 处 于 如 下 约束 范围 
lose Sac! (13.64) 


误差 反馈 机 制 才能 稳定 FTF 算法 , 式 中 OM ERR RAE. AR E 
了 实际 应 用 中 某 些 感 兴趣 的 有 用 选择 。 


快速 RLS 算法 收敛 件 的 最 后 一 个 评注 是 必要 的 。 传 统 的 FTF 算法 的 误差 随时 间 呈 指数 
增长 。 与 此 相反 ,正如 第 12 章 注释 中 所 提 到 的 ,由 Skidmore 和 Proudier(2001) 提 出 的 卡尔 曼 增 
益 估 计 器 (KaGE) 的 误差 随时 间 旺 线性 变化 。 这 一 方法 使 FTF 算法 的 性 能 得 到 了 明显 改善 。 


13.7 本 章 小 结 


本 章 研究 了 LMS 族 和 RIS 族 自 适应 滤波 算法 的 数值 稳定 性 问题 。 

LMS 算法 具有 数值 鲁 律 性 。 当 算法 在 有 限 精 度 条 件 下 工作 时 ,值得 注意 之 处 是 步 长 参数 
n 的 数值 只 能 下 降 到 某 个 数量 级 ,此 后 ,有 限 精 度 LMS 算法 抽 头 权 值 伟人 误差 的 恶化 影响 将 
变 得 很 明显 。 此 外 ,可 通过 在 算法 中 引 人 泄 漏 技术 来 改进 有 限 精 度 LMS 算法 的 性 能 。 

WA RLS 算 法 族 一 样 ,平方 根 滤波 的 使 用 为 实现 数值 鲁 棱 性 提供 了 一 项 强 有 力 的 技术 。 
对 于 空间 域 的 自 适应 波束 形成 ,QR-RIS 算 法 是 一 个 好 的 选择 , 它 基 RLS 型 平方 根 (卡尔 曼 ) 信 
息 滤 波 器 。 相 反 , 对 于 利用 输 人 数据 时 移 不 变性 的 自 适应 滤波 器 的 时 域 应 用 ,选择 QRD-LSL 
算法 就 比较 好 ,该 算法 也 来 源 于 平方 要 信息 滤波 。 根 据 RLS 算法 的 数值 稳定 性 分 析 FE QR- 
RLS% QR-RLS 和 QRD-LSL 算法 的 范围 内 ,我 们 可 以 这 么 说 ， 

















502 自 适 应 滤波 器 原理 


© FEAT A < 1, 妇 单 误差 传播 是 指数 稳定 的 - 这 一 :特性 可 保证 算法 中 总 的 黑 各 
误差 较 小 。 
提 妆 =1 时 , 误 善 传播 不 是 收缩 的 ,因此 数值 误差 的 累积 可 能 导致 算法 发 茹 。 
有 J 了 了 这些 结论 ,我 们 还 可 以 进一步 说 :除了 单 误差 传播 外 ,我 们 对 RLS 族 自 适应 滤波 算 法 
的 有 限 精 度 效 应 还 轧 乏 一 个 统一 的 处 理 方法 ， 
文献 中 不 时 争论 :平方 根 滤波 则 是 费用 品 焉 和 计算 不 便 的 , 它 成 为 算法 整体 性 能 方面 的 一 
个 瓶颈 。 由 于 这 些 原因 ,一 些 学 者 系统 地 指出 非 平方 根 型 QR-RIS 算法 和 QRD-LSL 算法 。 这 
类 算法 不 使 用 平方 根 ,而 是 合用 特 彝 的 方法 实现 Givens 旋转 ,这 一 想法 可 追 潮 到 Gentleman 
(1973) 所 做 的 工作 。 在 卡尔 曼 诚 波 中 ,为 了 避免 使 用 平方 根 , 特 别 研究 了 UD 分 解法 (Biermsn， 
1977)。 上 生前 的 研究 表明 ,使 用 非 平方 根 算法 实际 上 也 带 来 一 系列 问题 (Stewart & Chapman, 
1990) ; 
© 韭 平方 根 算法 可 能 遇 到 严重 的 溢出 和 个 游 问 题 ,而 且 可 能 导 攻 数值 不 稳定 。 
根据 平方 根 比 除 法 器 阵列 简单 {或 者 ,至 多 一 样 复杂 ) 的 有 关 知 识 可 以 发 现 , 以 非 平方 根 
形式 表示 标准 自 适应 滤波 算法 ,实际 上 增加 本 它们 的 运算 复杂 度 。 
值得 注意 的 另 一 点 是 ,使 用 平方 根 的 RIS 自 适 应 滤波 算法 可 在 CORDIC 处 理 器 上 有 效 地 
编程 实现 。 该 处 理 器 中 并 不 明显 地 司 平 方 根 运 算 。 我 们 还 看 到 ,大 多 数 这 类 算法 均 可 通过 族 
转 和 向 导向 这 两 种 基本 运算 进行 分 解 。 这 两 种 运算 实际 上 是 CORDIC 处 理 闫 的 基础 (Yolder， 
1959); 
电 谢 转 ”在 旋转 模式 中 ,将 一 个 二 元 向 量 的 坐标 和 和 一 个 旋转 角 赋 给 CORDIC Ah ARo 
该 处 理 器 则 在 所 要 求 的 角度 旋转 后 计算 初始 向 量 的 坐标 分 量 。 
和 持 向 ”在 导向 模式 中 ,给 定 一 个 二 元 向 量 的 坐标 。CORDIC 处 理 器 则 旋转 该 向 量 直 到 其 
角 自 变量 变 零 为 止 。 因 此 ,第 二 种 模式 中 的 旋转 角 是 初始 角 自 变量 的 负 值 。 换 言 之 , 寻 
向 运算 相当 于 消除 了 二 元 向 量 的 一 个 元 素 。 
显然 ,用 CORDIC 处 理 器 可 获得 这 两 种 基本 运算 的 最 快速 实现 。 此 外 ,以 硅 片 形式 的 集成 
电路 实现 ,使 得 它 用 于 实现 平方 根 RIS 算 法 方面 颇具 吸引 力 吕 。 


13.8 习题 


1. 考虑 利用 定点 运算 数字 实现 LMS 算法 ,如 第 13.2 节 所 讨论 的 。 证 明 由 量化 抽 头 权 向 量 产 
ERI M x1 误差 向 量 Aw(n) 可 以 按 下 式 进 行 更 新 
Aw(n + 1) = F{nj)áw{n} + t(n) a=0,1,2,... 
RF Fin) E Mx MRE tn OM x 1 LAT RET Ra) 和 人 长 ma)]。 将 分 析 建 立 
在 实数 据 的 基础 上 。 
2. 利用 习题 1 的 结论 ,并 引用 第 5 章 的 小 步 长 LMS 理论 .证明 














D Rader(1990} 描 述 了 一 种 在 Cholesky 分 解 基础 上 构造 的 自 适应 改 旧 形成 线性 脉动 阵列 ,其 三 件 由 用 VSLE 实现 的 
CORDIC 2h HE 88 $5 AK 
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Fl Aw(n)] = 0 
3. ERE A PRB Ma TAIA AS AR BY OR 
WP eas. WEE HAF ee LR TT A he I a A AÉ 
bh, & y(n) 和 yu(n) 表 示 各 滤波 器 相应 于 抽 头 输入 Ca) uca- d) eula- M- 1D 
eln) = y(t) — Hb) 
假设 输 人 zu(n) 是 独立 随机 变量 , 且 具 有 等 于 4。 的 共同 ms fE. WEHR e(n) iA 
值 可 表示 为 
Efe (n)] = Ain, > (w, 一 Wa) 
式 中 ws 是 抽 头 权 值 w; 的 量化 形式 。 
4. 考虑 一 个 17 个 抽 头 、 步 长 参数 x = 0.07 的 IMS 算法 。 输 入 数据 流 具 有 等 于 1 的 均 方 根 
(rms) {El 
(a) 给 定 一 个 具有 12 比特 精度 的 量化 过 程 , 试 计算 相应 的 数字 残 差 值 。 
(b) 假设 抽 头 量化 是 引起 输出 误差 的 惟一 原因 。 试 利用 习题 3 的 结果 ,计算 输出 中 产生 的 
测量 误差 的 ms 值 。 并 将 这 个 误差 与 (a) 中 的 计算 结 采 比较 。 
5. 诈 明 表 13.1 中 总 结 的 RLS 算法 能 保持 埃 尔 米 特 对 称 性 。 假 设 在 = -1 时 刻 , 单 量化 误差 可 
表示 为 
Pn — 1) = P{a — 1) + mn — 1) 
RP P(n - 1) EE Pin -1) 的 量化 矩阵 ,n(n - 1) 是 量化 误差 矩阵 。 
6. 在 式 (13.24) 和 式 (13.48) 中 ,我们 用 两 种 不 同 的 方法 定义 了 抽 头 输 和 人 向量 wm) 持 续 激 励 的 
条 件 。 试 将 这 两 个 条 件 统一 起 来 。 
7. 增 广 QR-RIS 算法 由 下 述 递 归 方 程 ( 见 第 11 章 的 习题 3) 定 义 ; 
对 于 n=1,2,… ,计算 


Aapa 1) a(n) ptn) 0 
| 一 1 a H 1/2 
NEY lem= | ven an) 
Mb n- 1) 0 Bn ka) in) 


W(n) = Win = 1) + (kiny e an 
式 中 @(n) 是 一 个 西 旋转 , 它 对 左 阵列 进行 运算 ,以 在 右 阵列 的 第 一 行 中 广 生 零 块 项 。 
令 
Kin) = p Hn) + ndn) 
表示 埃 尔 米 特 道 矩阵 O” (MWERLER. REH, FABRE RK H n- 12 
增 广 QR-RLS HA y(n) SARE HR ERE o 
8. FTF 算法 中 挽救 变量 ru(m) 的 表达 式 由 式 (13.60) 定 义 。 试 推导 这 个 公式 ， 


Bl A WERA 


TE AT ASS rb , RAEE SE A EER A SB) LMS 算法 和 RG 算法。 我 们 
重点 讨论 了 工作 在 平稳 环境 下 标准 LMS 算法 和 RIS 算法 的 平均 特性 ,在 这 种 环境 下 ,误差 性 
能 曲面 是 固定 不 变 的 ,而 基本 要 求 是 以 一 步 … 步 的 方式 搜索 该 曲面 的 最 小 点 ,从 而 保证 算法 具 
有 最 优 或 次 优 的 性 能 。 

在 本 章 , 我 们 将 考查 这 两 类 自 适 应 滤波 算法 在 非 平 稳 环 境 下 的 工作 情况 。 闪 这 种 情况 下 ， 
最 优 维 纳 解 将 是 时 变 的 。 其 最 终结 果 是 ,误差 特性 曲面 的 最 小 点 不 再 固定 不 变 。 因 此 , 自 适应 
滤波 算法 现在 又 附加 了 一 个 跟踪 最 小 点 的 任务 。 换 言 之 ,算法 要 不 断 地 跟踪 输 人 信和 叶 的 统计 
HH. SR. ARERR ett Bee, 以 使 得 跟踪 是 可 行 的 。 

与 收 伍 这 一 瞬 态 现象 相 比 ,跟踪 是 一 种 稳 态 现象 。 由 此 可 知 ,要 检测 一 个 自 适 应 滤波 器 的 
卡 踪 能 为 ,首先 要 使 它 从 瞬 态 工作 模式 切换 到 稳 态 工作 模式 ;其 次 ,滤波 器 的 自由 参数 还 必须 
连续 可 调 。 此 外 ,要 说 明 的 是 , 收 竹 速率 和 跟踪 能 力 一 般 来 说 是 一 个 算法 的 两 种 不 同 特性 。 特 
别 地 ,一 个 收敛 特性 好 的 自 适 应 滤 被 算法 不 一 定 具有 快速 跟踪 能 力 ,反之 亦 然 。 

我 们 从 描述 系统 辨识 的 特殊 时 变 模 型 出 发 开始 讨论 ,并 用 这 一 模型 作为 评估 标准 LMS 算 
法 和 RLS 算法 在 非 平稳 条 件 下 跟踪 能 力 的 基础 。 























14.1 系统 辨识 用 马尔 可 夫 模 型 


欲 使 一 个 环境 变 为 非 平稳 ,实践 中 可 用 下 列 两 种 基本 方法 之 一 ; 


1) 期 望 响 庶 提供 的 参考 框 架 可 以 是 时 变 的 。 例 如 ,在 系统 办 识 中 , 当 一 个 自 适 应 横向 泪 
波峰 用 来 建 模 一 个 时 变 系 统 时 ,就 会 出 现 这 种 情况 。 此 时 , 自 适 应 横向 滤波 器 抽 头 输 
人 的 相关 矩阵 仍然 保持 固定 不 变 ( 如 同 平稳 条 件 一 样 ) ,而 将 抽 头 输入 与 期 望 响应 之 间 
的 互相 关 向 基 假 设 为 时 变形 式 。 

2) 加 到 自 适 应 淖 波 器 抽 头 输入 上 的 随机 过 程 是 非 平移 的 。 例 如 ,用 自 适应 横向 滤波 嚼 均 
衡 一 个 时 变 信 道 ,就 会 出 现 这 种 情况 。 此 时 ,将 自 适 应 横向 滤波 咒 抽 头 输入 的 相关 和 卸 
阵 和 抽 美 输入 与 期 望 响应 之 间 的 互相 关 向 量 都 假设 为 时 变形 式 。 


因此 ,一 个 时 变 系 统 的 跟踪 细节 不 仅 取 决 于 所 采用 的 自 适 应 滤波 器 ,而 且 与 所 讨论 的 具体 


问题 密切 相关 。 
在 本 章 ,我 们 将 集中 研究 非 平 稳 条 件 下 的 通用 时 变 模 型 。 这 个 模型 由 如 下 两 个 基本 过 程 


支配 ; 
1) 一 阶 马尔 可 夫 过 程 ” 设 用 横向 滤波 器 建 模 一 个 未 知 环境 的 动态 方程 , 则 其 抽 头 权 癌 量 
w.(n)( 即 脉冲 响应 ) 的 变化 过 程 可 用 一 个 一 阶 马 尔 可 夫 过 程 来 描述 ,其 向 量 形式 为 


win + 1) = aw(n) + win} (14.1) 
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式 中 a 是 模型 的 -个 固定 参数 ,om(n) 是 均值 为 零 . 相 关 征 阵 为 R n WHER fa 
量 。 用 物理 的 术语 , 抽 头 权 向 量 w.(m) 可 看 做 过 程 噪声 wt = ) 的 来 源 ,其 各 个 分 量 加 到 
一 组 单 极点 低 通 滤波 涡 。 每 个 这 样 的 低 通 滤波 器 转移 函数 为 O - ae) z :下 
单位 延迟 算 子 。 假 设 参 数 a 的 值 很 接近 1。 这 一 假设 的 意义 是 , 低 通 滤波 器 的 带宽 远 
小 于 输 人 数据 的 速率 。 竺 效 地 ,我们 可 以 说 ,过 尔 可 夫 模 型 要 经 过 多 次 选 代 才 能 产生 抽 

KALE w, Cn) HAE Ib 
2) 多 重 回归 ”环境 的 可 测 特性 即 期 望 响 应 用 dtn) 表 示 , 它 出 多 重 线性 回归 模型 控制 , 即 
d(n} = wi(a)u(n) + v(m) (14.2) 


AF yx(m) 是 测量 噪声 ,假设 它 是 均值 为 零 NEA o KARR, A, RA 
aa) 与 噪声 y(n) 都 是 平稳 过 程 ,但 由 于 w,(m) 是 时 变 的 ,模型 的 输出 4(n}) 仍 然 是 一 
个 非 平 稳 随 机 过 程 ， 这 就 是 对 自 适 应 清流 器 提出 的 挑战 。 

图 14.1 是 式 (14.1) 和 式 (14.2) 的 杠 图 撕 述 。 这 里 描述 的 横 型 是 图 10.1 线性 动态 模型 的 
一 个 特例 。 在 任何 情况 下 , 按照 第 10 章 中 关于 卡尔 坚 滤 波 器 的 状态 空间 术语 ,可 将 行 向 量 
迪 (z) 看 做 图 14.1 Bete AS EEE 

马尔 可 夫 过 各 多 重 回归 过 各 




















al 


woln + 1} woln) 





图 14.1 非 平稳 条 件 下 的 线性 动态 模型 


在 本 章 后 面部 分 ,我 们 把 系统 辨识 看 做 感 兴 趣 的 自 适应 滤波 任务 。 具 体 来 说 ,给 定 可 测 
d(n) 作 为 输入 应 量 Wan) 的 期 望 响应 。 我 们 的 任务 就 是 设计 一 个 自 适应 滤波 器 ,使 其 跟踪 马 
尔 可 去 模型 的 脉冲 响应 向 量 w,(n) 的 统计 变化 。 图 14.2 描述 了 这 个 系统 的 辨识 问题 。 该 自 
适应 过 程 涉 及 的 误差 信号 可 定义 为 

e(n) = d(n) — y(n) 
= wo (aula) + v(a) — Wn)u(n) 
式 中 wkm) 是 自 适应 滤波 器 的 抽 头 权 向 量 , 这 里 假设 使 用 的 是 横向 滤波 器 ,其 抽 头 数 林 与 
w.(Pa) 所 表征 的 未 知 系统 的 抽 头 数 相 等 。 抽 头 权 向 量 w.( nm) 表示 恋 波 器 要 跟踪 的 目标 。 每 当 
mW(n) 等 于 mw,(a), 由 自 适应 滤波 器 产生 的 最 小 均 方 误 差 就 等 于 不 能 降低 的 误差 方差 ao 

根据 图 14.2, 加 到 自 适 应 滤波 器 上 的 期 望 响 应 2(n) 是 环境 的 可 观测 量 。 因 为 环境 是 时 
变 的 ,期 望 响应 相应 是 非 平稳 的 。 我 们 发 现 ,在 抽 头 输入 相关 和 矩阵 具有 固定 值 及 .的 情况 下 ， 
自 适应 滤波 器 具有 一 个 “ 硫 状 ”的 二 次 误差 性 能 曲面 ,其 位 冒 在 权 值 空间 中 处 于 恒定 的 运动 状 


态 中 。 


(14,3) 
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14.1.1 LARIE 


典型 地 ,因为 图 14.1 马尔 可 夫 模 者 中 的 过 程 赂 声 向 量 wn) 的 时 变 过 程 很 慢 ( 即 有 界 ) ,这 
使 得 自 适 应 横向 滤波 器 有 可 能 使 用 LMS 或 RLS 算法 来 跟踪 未 知 环境 动态 特性 的 统计 变化 。 
为 了 进行 图 14.2 系统 辨识 问题 中 LMS 和 RS 算法 的 跟踪 分 析 ,在 本 章 中 做 如 下 假设 : 

1) 过 程 噪声 om EHEAR . 根 关 矩阵 为 及 ,tn BARA 

2) 测量 噪声 un HWS HEY of HARA, 

3) 过 程 噪声 on) SWERE y(n) 之 间 彼 此 独立 。 

4) 测量 矩阵 a (na) 与 测量 噪声 vin) te oln) H. 


14.2 非 平 稳 度 


为 了 对 模型 的 “ 慢 " 和 “ 快 " 统 计 变 化 这 一 相当 模糊 的 概念 给 出 一 个 清晰 的 定义 ,我 们 引 人 
了 非 平 稳 度 {degree of nonstationarity) 这 一 概念 (Macchi，1995)。 在 图 14.1 BARAT ARAB AF 
平稳 度 ( 用 a 表示 ) 正 式 定义 为 两 个 量 [ 即 过 程 噪声 wm(n) 和 向 量 a ZB A RAS FEA E 
数学 期 望 与 测量 噪声 y(n) 平均 功率 的 数学 期 望 ] 之 比 的 平方 根 , 即 


因此 , 非 平稳 度 是 单独 时 变 系 统 的 一 个 表征 , 即 与 自 适应 滤波 器 无 关 。 
按照 (rn) 与 u(r) 之 间 独 立 的 假设 , 式 (14.4) 中 的 分 子 可 改写 为 


(14,4) 
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Ello" (num) = Elouan) 
= {Efo (muna (orn) |} 
= Eltr(w"(n)u(a)u” (a )eo(n)]} 
= E(trlw(ajea" oe (n)? (14.5) 
= {Elnjo (uwa a} 
= tr{ El anw (nn) Epa a a] 
= tr[R,R,] 
这 里 e '] 表 示 方 括号 内 矩阵 的 迹 ,R. Æ un USER, RRS wm(n) 的 相关 
短 崭 。 式 {14.4) 中 的 分 母 就 是 零 均 位 测量 品 声 Cn Ae ol, TALL 14.1 马尔 可 夫 模 型 
的 非 平稳 度 可 简化 为 


)] 
)j 








a= = (tr[R,R,,]) ee = (tr[R,,R,]}'7 (14.6) 


非 平稳 度 a 5 ARR RAZ a TRA RAR. ATRAER, A 
先 注意 到 ,图 14.2 中 自 适 应 滤波 毅 能 够 获得 的 最 小 均 方 误差 J 等 于 测量 噪声 y(n) 的 方差 
ot。 其 次 注意 到 ,在 跟踪 图 14.1 时 变 系 统 方面 , 自 适 应 滤波 器 尽 最 大 努力 所 能 做 到 的 也 只 是 
产生 等 于 过 程 噪声 向 量 on DRE a(n). ASMA eln) ST Men), 
并 回忆 和 失调 的 定义 (定义 为 额外 均 方 误差 与 最 小 均 方 误差 J = oa, 之 比 ), 则 可 利用 式 (5.99) 
FE 


ju(co) HRR]; 


A = =a (14.7) 





Ja Ne 
REZ, RWAF BT PE EOP LELA T. 
下 一 节 BOE AE HG ERREA — SR HE Fe ORRE. ME, R 
TAHR 4.7) TAA AE ERR: 
1) 对 于 慢 统 计 变化 ,a AIR). KERA IAEA SE RA BE ae 
2) 当 环境 的 统计 特性 变化 太 快 时 ,zx 的 值 可 能 大 于 1。 此 时 ,由 自 适应 滤波 器 产生 的 失调 
超过 100% ,这 意 昧 着 通过 构造 自 适应 滤波 器 来 解决 女 踪 问题 密 无 优势 可 言 。 


14.3 ”跟踪 性 能 评价 准则 


车 以 w (MERA 14.2 中 未 知 动态 系统 的 状态 ,用 win) 表 示 自 适应 横向 滤波 器 的 抽 头 
权 向 量 , 则 加 权 误 差 向 量 可 定义 为 
e(n) = Woln) 一 w(n) (14.8) 
根据 e(n) FRA aR SEE LE) Be RR AeA A AERES E (igure of merit), 
1) HAs 
3% fp PRE BE JRA FATS RE AR AS SS A SE w, (Ce) Ae a aT W 
权 向 量 wn) SA AE ,定义 为 
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Gln) = Ellw,(n) — Wn) 
= F[lle(n)|?] 


AP, BRAR EE SR REKA n 足够 大 。 按 照 类 似 于 式 (14.5) 中 介绍 的 
步骤 ,将 式 (14.9) 改 写 为 


(14.9) 


Sin) = tr K(n)] (14.10) 
式 中 
K(n) = Ele(nje#(n}] (14.11) 


ERAR e(n) HRE. SBIR RE ER PERE Sy ES (BAB) 
加 权 误 差 向 量 可 表示 为 


e(n) = e(a} + e(r) (14.12) 
式 中 
ein) = Efi] ~ win) (14.13) 
是 权 向 量 噪声 ,其 中 E[w(n)] 是 抽 头 权 向 量 的 集 平均 值 ,市 
€,(n) = w,(n) — Efè] (14.14) 
是 权 向 量 延 迟 。 引 用 第 14.1 节 的 假设 ,s(n) 与 B{n) 内 积 的 数学 期 望 为 零 , 即 
Elef(n)ez(n)| = Elef{(n)ei(n)] = 0 (14.15) 
因此 , 均 方 偏差 可 表示 为 
Bln} = D(a) + (nr) (14.16) 
式 (14.16) 中 第 一 项 3,(n) 是 由 权 向 量 噪声 引起 的 合计 方差 ,定义 为 
Bin) = Efe] (14.17) 


即使 在 平稳 条 件 下 Se RT (n) P2 (n) REETA, E A ES 
引起 的 ,可 定义 为 

(a) = Ellje(n)|)?] (14.18) 
(nn) 的 存在 是 环境 非 平稳 特性 的 证 据 。 如 式 (14.16) 所 述 , 均 方 偏差 多 (n) 分 解 为 估计 方差 
争 , Cn) ASR REA ED, (n), PPE RR CA RE EEE ( Macchi, 1986a, b), 


2) 失调 基 
评估 自 适 应 滤波 器 跟踪 能 力 的 另 一 个 通用 数值 指标 是 失调 ,定义 为 
Min) = a (14.19) 


AP Ja (eB Ra eS ORR Eis, ERATE 14.2 未 知 模型 输出 端的 白 
噪声 分 量 v(n) 的 方差 ot 测量 得 到 的 。 这 里 ,再 一 次 假设 过 渡 过 程 终 止 时 迭代 次 数 n 足够 大 。 
不 难 发 现 , 对 于 良好 的 跟 卡 性 能 ,其 失调 所 (tn) 小 于 1。 

如 同 均 方 偏差 那样 ,按照 第 14.1 节 中 所 做 假设 ,额外 均 方 误差 J.({n) 也 可 以 表示 为 两 个 
分 量 J (n) 和 Jw(n) 之 和 。 第 一 个 分 量 J ka) 是 由 权 向 量 噪声 aa) 引起 的 , 称 为 估计 噪 
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声 。 第 二 个 分 量 1 EA RAR 2 (2) RA, AER, Do tn) 项 的 存在 直接 
归 因 于 环境 的 非 平 和 特性。 因此 ,可 将 失调 量 表示 为 
Min} = Ala) + Af) (14.20) 

APA On) = Jaio FA Cn) = Jald E ADA Cn) PR SR RM, (KW 
TERA, Tii MER FATA BOR HE TE, AA AE Ee OL E 
RS 

一 般 来 说 ,两 个 性 能 指标 字 (n) 和 以 (nm 都 皮 决 十 选 代 次 数 ( 时 间 )mr。 此 外 ,正如 随后 分 析 
所 要 揭示 的 ,上 述 两 个 指标 以 芝 补 的 方式 强调 了 跟 酸 问题 的 两 个 不 同方 面 。 





14.4 LMS 算法 的 跟踪 性 能 


为 了 着 手 研究 跟踪 问题 , 考 志 图 14.2 的 系统 模型 ,图 中 的 白 适 应 (横向 ) 让 波 器 使 用 LMS 
算法 。 根 据 此 算法 , 自 送 应 滤波 种 抽 头 权 问 量 的 更 新 公式 可 表示 为 
win + 1) = win} + palnjet(n) (14.21) 
AF p 是 步 长 参数 [参见 式 (5.8)]。 将 式 (14.3) 中 的 误差 信号 eCn) 代 人 式 (14.21), 可 用 展开 
形式 重新 表示 LMS 算法 为 
wat 1) 一 |， paatin Ain) + otro own + aulne l) (14.22) 
其 次 ,根据 式 (14.8) 给 出 的 加 权 误 差 问 量 sfa) 的 定 多 和 式 (14.1) 给 出 的 一 阶 马 尔 可 尖 模 型 的 
描述 ,合并 同类 项 后 可 写 出 
e(n + 1) = wn + 1) — w(t + 1) 
= [I 一 smn (n) efn) ~- (1 - aw,{n) — puln}e*(n) 十 fm) 
式 中 I 是 单位 阵 。 线 性 随机 差分 方程 式 (14.23) 完 整地 描述 了 髋 人 在 图 14.2 系统 模型 中 的 
IMS 算法 。 基 于 式 (14.23) 的 马尔 可 夫 模 型 的 一 般 距 踪 理 论 仍 处 在 进一步 发 展 之 中 。 通 常 采 
取 的 方法 是 假设 模型 的 参数 a 正常 接近 于 1, 以致 于 可 以 忽略 (1 - gjw, 项 。 为 此 ,实际 上 我 
们 这 里 正在 研究 一 种 用 于 随机 游 动 模型 的 女足 理论 (Macchi， 195)。 因 此 , 当 &=1 时, 式 
(14.23) 可 简化 为 - 
e(n + 1) = (I — pu(n)ju (nle(n) -aa)ps(a) + wln) (14.24) 
上 典型 地 ,为 了 得 到 好 的 跟踪 性 能 ,通常 对 步 长 参数 py 赋 子 一 个 很 小 的 值 。 在 这 种 情况 下 ,我 
们 可 引用 前 面 第 5 章 中 讨论 的 直接 平均 方法 (Kushner，1984), 从 式 (14.24) 中 求 出 加 权 误 差 向 
量 e(n)。 必 须 特 别 指出 , 当 2 很 小 时 ,线性 随机 差分 方程 式 (14.24) 的 解 (nn) 接近 于 用 集 平 
H- /了 及 .) 代 替 系 统 和 矩阵 [I- pnln)jur(n)] 得 到 的 另 一 个 线性 随机 差分 方程 的 解 , 这 里 及 ， 
是 输入 向 量 utn) 的 相关 矩阵。 这 一 新 的 随机 差分 方程 可 表示 为 
enim + 1) = (I — pRi)eoln) — puln)jvt(n) + oln) (14.25) 


(14.23) 





由 ”在 某 些 实 奈 应用 中 ,为 了 快速 收 策 , 人 们 通常 赋予 上 一 个 较 大 的 值 ,该 值 可 能 超过 小 步 长 理论 范围 。 为 了 应 付 由 此 
导致 的 进退 两 准 的 局 面 , Pemer 等 (1994} 使 用 了 扰动 扩张 法 [ 谅 法 首先 出 Solo 提出 (1992)] 来 研究 LMS BM Beas 
FERE- HERH, Perier 等 说 明了 如 何 明确 地 将 输 人 信和 导 的 术 关 系数 集成 到 “的 二 阶 特性 中 。 
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AP a(n) RMR lS el n) 的 小 步 长 近似 。 
SAAR R, 进行 本 相似 变换 ,得 到 
QRQ = A, (14.26) 
UP AL = 10... 1 er R, 的 特征 值 组 成 的 对 角 阵 ,Q 是 西 年 阵 , 其 列 向 量 组 成 一 个 
与 上 述 特征 值 有 关 的 特征 癌 基 的 正 交 集 。 
然后 ,按照 与 第 5.4 节 中 所 述 小 步 反 LMS 理论 类 似 的 步骤 ,可 以 将 随机 差分 方程 (14,25) 
变换 为 近似 解 灼 的 差分 方 得 弓 , 即 














udin + ysl — payke(a) + oln) A =1.2,...,M (14.27) 
式 中 正常 模式 0, (n AER k hoe 
y(n) = Q%eq(n) (14.28) 
而 加 {nn) 是 均值 为 零 的 随机 激励 ,定义 为 
b(n) = -ugk uati) + grol) (14,29) 


AP gq EHM TEE Aa REE. BAAS R, Ye PAE RI 
one gq 上 投影 的 方 益 4,.;, 则 和 (nn) 的 方差 可 表示 为 
ah iA t Aue = 12,...,M,. (14.30) 
式 (14.27) 描 述 的 方程 组 握 供 了 评价 应 用 于 图 14.2 系统 辨识 问题 的 LMS 算法 跟踪 性 能 的 
数学 基础 。 


14.4.1 BARE 


根据 式 (5.92) ,在 小 步 长 假设 下 ,LMS 算法 的 均 方 偏差 定义 为 
Gn) = Efe] 





M (14.31) 
= 2 Eliel) dF 
ERER n BIRKE, CEARA 
a et i Mok 
an) ~ Moa? + M 之 ha (14.32) 
[OC 14.32) RE BAR, LTS SS tT Se as 
Gn) = = E Mo? + z RGR.) 4 BAW (14.33) 


式 中 th | Fea PR ae F 

式 (14.33) 中 的 第 一 项 Mo? /2 SRS y(n) 引 起 的 估计 方差 , 它 随 步 长 参数 呈 线 性 
变化 。 第 二 项 RR 2e 是 由 过 程 噪声 向 量 w(n) 引 起 的 延迟 方差 ;该 项 与 步 长 参数 Am 成 
反比 , 它 允 许 较 快 的 跟踪 速度 。 

用 jn 表示 均 方 偏差 获得 最 小 值 Dwo 时 的 最 住 步 长 参数 。 当 估 计 方 差 和 延迟 方差 对 均 方 
偏差 的 贡献 相同 时 ,可 实现 这 个 最 优 条 件 。 从 式 (14.33) 容 易 发 现 


1 £ 1/2 
m tr[R; R, 14.34 
Mapt a r[ u ]) (14.34) 





A 
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Ban X o, V M(tr[RZ'R,}) (14,35) 


14.4.2 LMS 算法 的 失调 量 
为 了 计算 图 14.2 RASHES LTMS 算 法 的 失调 量 , 可 利用 式 (5.91) 写 出 


Ms = FA, Elan] (14.36) 
U, k=l 
FEWER A Sal ea 
wht ios 
AL = > PLT + u DA (14.37) 
[ROLI ÉE TA RR , a 6,] 等 效 地 ,可 将 EMS 算法 的 失调 景 表示 为 
1 
MM S tr[R,| + z "E. 当 严 很 大 时 (14.38) 


第 一 项 wt R, 1/2 是 由 测量 噪声 O GERRERA, EERS FRI PAs 对 此 ， 
我 们 并 不 惊奇 。 第 二 项 fr[R。j/2pov 是 由 过 程 噪声 问 量 w{ a) 引 起 的 延迟 失调 ,用 来 表征 环境 
的 非 平稳 性 。 

噪声 失调 随 步 长 参数 o 呈 线 性 变化 ,而 延迟 失调 与 p 成 反比 。 当 估计 噪声 功率 与 迟延 品 
声 功 率 相等 时 ,失调 量 达 到 最 小 值 We, ,此 时 获得 步 长 参数 we 的 最 优 值 。 从 式 (14.38) 易 知 





ad e 
Hop ~ 人 oR 
和 
Monin = ~(u[R, ]tr[R,))"” (14.40) 


式 (14.34) 和 式 (14.39) 意 味 着 ,对 均 方 偏差 和 失调 量 这 两 个 性 能 指标 进行 优化 时 ,通常 会 得 到 
步 长 参数 p 的 不 同 最 优 值 。 这 并 不 奇怪 ,因为 这 两 个 指标 从 不 同 侧面 注目 跟踪 问题 。 此 外 ， 
在 选择 步 长 参数 时 ,总 是 假设 其 最 优 值 x 在 均 方 意义 下 满足 LMS AEREA R. 


14.5 RLS 算法 的 跟踪 性 能 


下 面 考 虚 RLS 算法 如 何 用 于 实现 图 14.2 系统 模型 中 的 自 适应 滤波 器 。 回 磊 第 9 章 的 式 
(9.22) 到 式 (9.25) 可 知 , 自 适应 横向 滤波 器 权 向 量 相 应 的 更 新 方程 可 表示 为 如 下 形式 
w(n) = W(n — 1) + (n)a(n)é*(n) (14.41) 


式 中 ( 当 忽略 正则 化 项 时 ) 





Pin) = Sah atu" (a) (14.42) 


是 输入 向 量 en) RARER, H 
in) = din) 一 (一 1 (14.43) 
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是 先 验 估计 误差 。 式 (14.42) 中 ,4 是 0<4 纪 1 区间 内 的 一 个 指数 加 权 因 子 。 
为 了 容纳 式 (14.41}) 中 的 权 向 量 在 记号 方面 较 之 式 (14,21) 出 现 的 少许 变化 ,将 式 (14.1) 的 
一 阶 马 尔 可 去 模型 和 式 (14.2) 的 期 望 响 应 ga 分 别 修改 如 下 
win) = awin 1) + wln) (14 .44) 
和 
d(n) = wi{n — Dulin) + v(x) (14,45) 
因此 ,利用 式 (14.41) 20 (14.44) Fh (14.45) ,RLS BADR IRS BE BH 
efn) = [L ~ ®)(nju(aju"(ajle(a - 1) - Pajula in) 
(14.46) 
~ (1 — awn — 1} + wir) 
sh ERARE, TEENS LA ot, EPL EE (14.46) BEGET A, 
在 图 14.1 系统 模型 中 RLS 算法 的 一 个 完整 描述 。 如 同 LMS 算法 一 样 , 我 们 也 假设 模型 参数 a 
非常 接近 1, 以致 于 可 以 忽略 (1 -a)w,(n -1) 项 。 也 就 是 说 ,可 用 随机 游 动 模型 描述 这 程 方 
程 。 困 此 , 式 (14.46) 可 简化 为 
e(n) = [I 一 ®'(n)u(n)u"(n) Je (rn — 1) — @®'(nju(n)p*(n) + wn) (14.47) 
HRA RAZA, SCF REE 惠 一 (2) 的 一 个 近似 表达 式 , 以 使 得 RLS 算法 的 跟踪 分 
析 数 学 上 易于 处 理 。 为 此 ,首先 对 式 (14.4 和 2) 两 边 求 数学 期 望 , 则 得 


Eje] = $a Elulu] 


= DASR, (14.48) 
=R(LtAtM 4+ ar 


stp R, 是 输入 向 量 uln) 的 集 平均 相关 和合 阵 。 式 (14.48) 右 边 贺 括 号 内 的 序列 代表 一 个 首 项 
为 1 公 比 为 和 ,长 为 的 几何 级 数 。 现 在 假设 , 收 伍 模式 基本 结束 时 和 迭代 次 数 n EBK., E 
这 个 条 件 下 ,我们 可 把 该 几何 级 数 基 本 上 看 做 是 无 卫 长 的 。 这 样 ,利用 级 数 的 求 和 公式 , 式 
{14.48) 可 简化 为 


E[®(n)] = Ri M iBA (14.49) 


l-à 


(14.493 ZT OC n) ERS (SEB), EEE, T 更 (mn) 表 示 如 下 (Eleftheriou & 
Falconer, 1986) 





(a) = a + O(n) “niki (14,50) 


式 中 更 (m) 是 埃 尔 米 特 扰动 矩阵 ,其 各 个 元 素 可 用 零 均 值 随 机 变量 表示 ,该 随机 变量 与 输入 回 
量 u(n) 统 计 独 立 。 设 有 一 个 慢 自 适应 过 程 ( 即 指数 加 权 因 子 4 接近 寺 1) ,我 们 可 将 式 (14.50) 
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中 的 (an) 看 做 一 个 准确 定性 矩阵 ,因为 当 n 很 大 时 ,存在 下 述 关系 吕 

Elb P] < EB) 
式 中 上 . 目 表 示 委 阵 范 数 。 在 这 个 条 件 下 ,可 进一步 将 扰动 矩阵 O(n) ART, FRE 
EE b(n APE 








D(n) ~ a = 很 大 时 (14.51) 
这 一 近似 对 分 析 RLS BEA ERE EIR. PA, eR 面 "'(n) 可 表示 为 
P) = (1 AR, SRAM (14.52) 


式 中 R BAP Re R, 的 道 。 
问 到 式 (14.47) ,并 对 Oo! (mn) 利 用 式 (14. 了 2) 的 近似 ,更 可 写 出 
sfnjs|I- (1 - Rufat (a) lei — 1) 
~ (1 — AR, ula) (2) + w(n) 当 半 很 大 时 
典型 地 ,指数 加 权 因 子 4 接近 于 1, 以 敏 -a 很 小 。 于 是 ,引用 第 5.4 节 中 介绍 的 直接 平均 
法 ,可 以 看 出 g(n) 的 值 与 以 mm) 为 变量 的 新 的 随机 差分 方程 的 解 很 接近 
E00n) = Aegan — 1) 一代 一 人 Reoulp)zs(a) + o(a) Knik (14.54) 
RLS 算法 中 式 (14.54) 具 有 完全 不 同 于 LMS 算法 中 式 (14.25) 的 形式 , 这 正 是 我 们 所 预期 的 。 
计算 式 (14.54) 中 gf) 的 相关 矩阵 ,并 引用 第 14.1 节 的 假设 ,可 以 得 到 
K,(n) = VKo(n — 1) + (1 -AYR +R, 当 m 很 大 时 (14.55) 
当 很 大 时 ,对 于 差分 方程 式 (14.55) 的 稳 态 解 , 我 们 可 立即 令 Ko(n -1)= 丁 (Cn)。 在 这 个 条 
件 下 , 式 (14.55) 可 简化 为 
(1 一 A27)Ko(n) = (1—- Ayo? R +R, 当 4 很 大 时 (14.56) 
当 4 接近 于 1 时 ,有 如 下 近似 关系 式 
1-A? =(1-Aa)j{1+ A) 
= 2(1 — A) 
ENE, RLS 算法 的 相关 扬 阵 可 进一步 简化 为 


T 一 起 
Kín) = 一 Re 十 


(14.53) 


(14.57) 


— R 当时 很 大 


这 是 评价 图 14.2 系统 辨识 问题 中 RLS 算法 跟踪 能 力 的 方程 ,其 约束 条 件 是 a 接近 于 1。 
14.5.1 RLS 算法 的 均 方 偏差 
”由 式 (14.10) ~ 式 (14.58) 可 以 发 现 ,RLS 算法 的 均 方 偏差 定义 为 


全” 有 关 相 关 第 阵 @(m) 是 准确 定性 矩阵 的 完整 的 一 般 性 证 明 可 抑 相 关 的 参考 文献 。Elettherioa 和 Falconer(1986) 首 先 
使 用 启发 式 论证 方法 探讨 了 这 个 问题 。 出 后 Macchi 和 Bershad( 1991 WEA T i—i eR — TSE PaaS, Be 
BEREA. RTA ERS NARS ek STA. TB RR REE 
个 结论 在 这 种 信号 条 件 下 成 立 BA FE EF RE Pe. Ari, E Macchi 和 Bershad 提出 的 让 朋 有 其 局 
限 性 , 即 它 依 束 于 后 续 输 人 向 量 统计 犹 立 这 一 不 现实 的 假设 。 
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ae." l 

Din) 和 a ot tr[R;"} + HT- àj tr[R,| = nA (14.59) 
第 一 项 (1 - Ao uLR,' 1/2 是 由 测量 噪声 vt na2 引 起 的 个 计 方差 。 第 二 项 eR, 1/201 -aE H 
EREE wtn) 引 起 的 延迟 方差 。 这 两 项 页 献 的 变化 分 别 与 民 -4) 和 (1 一 4)" 成 正比 和 
成 反比 。 当 这 两 项 贡献 相同 时 ,得 忘 因子 达到 最 优 值 1, 。 上 故 由 式 (14.59) 容 易 求 出 


ee tr[R,] \1/? 
ope ~ T, tr [Ra] {14.60) 





因此 ,RIS 算法 的 最 小 均 方 偏 差 为 
Bin ~ otr (Ra Jir [R] 7 (14.61) 


14.5.2 RLS 算法 的 失调 


将 式 (14.58) 两 过 同时 乘 以 OR, ,得 到 
1 


1-A 
R,,Kj(n) = zo f X1- A) R,R, ” 当 mn 很 大 时 (14.62) 


AP LE-A Mx M SPE RE M 是 自 适 应 横向 滤波 器 的 抽 头 数 。 从 而 对 式 (14.@2) 求 迹 ， 


得 
Ms 1 








1 eS 
tr [RRoln)] ~ —,— or + zg = ay "ReRe H nfk A (14.63) 
最 后 ,利用 式 (14.20) 容 易 求 出 ,RES 算法 的 失调 量 为 
1—A 1 
Mln) = SM + oa yy FIRR] 当 很 大 时 (14.64) 


式 中 右边 的 第 一 项 表示 由 测量 噪声 y(n) 引 起 的 RLS 算法 的 噪声 失调 ;该 项 随 1 A 呈 线 性 变 
化 ,而 且 依赖 于 自 适 应 横向 滤波 器 中 的 抽 头 数 收 。 式 中 第 二 项 是 由 过 程 曲 声 同 量 wn) 引起 
的 RIS 算 法 的 延迟 失调 , 它 与 1-* 成 反比 。 当 它们 对 失调 量 的 影响 相等 时 ,遗忘 因子 达到 最 
优 值 *%.。 于 是 ,由 式 (14.64) 可 求 出 该 最 优 值 


1 1 1/2 
a ets (+; wiR.R,]] (14.65) 


opt 


因此 ,由 RLS 算法 产生 的 最 小 失调 可 表示 为 
Mig ~ (Mtr [RoR.)) 
这 里 ,我 们 再 次 发 现 , 最 小 失调 和 最 小 均 方 偏差 这 两 个 准则 导致 不 同 的 最 优 遗 忘 因子 值 a o 
为 了 使 这 些 值 有 意义 ,必须 满足 0< ho < Lo 

至 此 ,有 了 我 们 所 需要 的 全 部 工具 , 便 可 在 图 14.2 系统 模型 的 LMS 算法 和 RLS 算法 之 间 
进行 定量 比较 。 


14.6 LMS 算法 和 RLS 算法 的 跟踪 性 能 比较 


出 于 LMS 算法 和 RIS 算法 是 以 完全 不 同 的 方式 构造 的 , 故 易 看 出 ,它们 不 但 星 现 不 同 的 
收 伍 特性 ,而且 跟踪 性 能 也 不 同 。 跟 踪 性 能 的 差异 来 源 于 随机 差分 方程 式 (14.24) 和 方程 式 


1/2 


(14.66) 
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(14.54)。 在 RIS 算 法 中 ,输入 向 量 un 在 乘 道 矩阵 Ro ,这 正 是 它 与 LMS 算法 之 间 的 本 质 区 
别 。 此 外 ,通过 比较 作为 前 两 节 跟 昧 分 析 茹 础 的 式 (14.25) 和 式 (14.54) 可 以 看 出 ,在 宽松 的 意 
SCP RES 算法 中 i - A 的 作用 类 似 于 LM 算法 中 jy 的 作用 。 在 进行 这 个 类 比 时 ,我 们 总 是 力 
图 做 得 更 精确 。 特 别 地 ,指数 如 权 因 子 4 是 无 最 纲 的 ,而 步 长 参数 e 的 量 网 是 功率 量 岗 的 倒 
数 。 为 了 消除 这 个 量 纲 差异 ,我们 做 如 下 工作 : 


e 对 于 LMS 算法 ,定义 归 一 化 步 氏 人 参数 


Prom = HO; (14,67) 
式 中 go? BEATE LBA un AT. 
otf RIS 算法 ,定义 遗忘 率 
B=1-A (14.68) 


下 面 转 到 我 们 感 兴 趣 的 主要 问题 ,分 别 使 用 式 114.35) 和 式 {114.61) LA 14.40) AR 
(14.66) 表 示 一 对 比率 ,用 来 比较 现 有 系统 六 识 问题 中 LMS 算法 与 RELS 算法 的 “最 优 ?跟踪 竹 
能 。 在 这 一 对 比 宰 表达 式 中 ,一 个 基于 均 方 偏差 的 性 能 指标 ,而 另 一 个 基于 失调 量 的 性 能 指 
标 ; 即 





UMS ( Mir[RAR, | 

RLS tr[Rz"] r/R] (14.69) 
和 

MEMS tr R,] tr[R,]\1? 

ARES ~ ( Mtr[R,R,| (14.70) 


式 中 R, BAHR un HAE, R, 是 过 程 品 声 疝 量 o 的 相关 矩阵 ,好 是 图 14.2 F A 
适应 横向 滤波 器 的 抽 头 数 。 显 然 , 当 以 式 (14. 邱 ) 和 式 {14.70) 为 基础 比较 LMS 算法 和 RLS 算 
法 的 跟踪 性 能 时 ,其 结果 琅 决 于 有 关 的 环境 条 件 PR TA ne XR, 和 Ro 
F 面 ,考虑 下 列 三 个 特殊 例子 中 。 

例 1: R,=0,1 

首先 , 考 处 来 源 于 均值 为 替 、 方 差 为 oF 白 咖 声 源 的 式 (14.1) 一 阶 蕊 尔 可 夫 模 型 中 过 程 噪 
FOE wm(n) 的 情况 。@w(n) 的 相关 矩阵 可 表示 为 

R, = oI (14.71) 


APLE MxM #2, HAOL PRA (14.69) FX (14.70), HM EDR AE, A 
结果 为 





TMS a PRLS R, = oi (14.72) 


和 


#1 SHE Widrow ÄI Walach( 1984) 及 Eleftheriou 和 faleoner(1986) 的 论文 中 讨论 过 。 例 2 HIG 3 曾 在 Benveniste 等 
(1987) 及 Slock 和 Kailath( 1993) 的 论文 中 讨论 过 。 
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Mie Me OR, = oel (14.73) 


由 此 可 见 , 不 管 输入 向 量 UW(n) 的 统计 特性 如 何 变 化 ,只 要 过 程 噪 声 向 量 O(n) HOR 
产生 ,LMS 算法 和 RLS 算法 产生 的 最 小 失调 和 最 小 均 方 偏差 都 基本 相同 。 

例 2: R,=wR, 

其 次 ,者 虚 另 一 个 例子 。 在 该 讽 子 中 , 式 (14.1) 一 阶 蕊 汞 可 夫 模 型 中 前 过 程 噪声 向 量 
oln AER R, 等 于 某 一 常数 ci 乘 以 输入 向 量 uf) 的 相关 姑 阵 及,。 这 里 引入 比例 因子 
c ,由 于 以 下 两 个 原因 ; 

1) 为 了 说 明 过 程 噪声 向 量 @(ma) 和 输入 向 量 (nn) 通 常 是 用 不 同音 位 测量 的 。 

2) 为 了 保证 起 (14.34) 或 式 (14.39) 中 LMS 算法 的 最 优 u 1, AA X(14.60) 3, A (14.65) 

中 RIS 算法 的 最 优 A 值 是 有 意义 的 值 ， 

Ath, A (14.69) $414.70) PSR, = cjR, 并 消去 比例 因子 ci; 后 ,得 到 表 14.1 中 列 
ER, =o R, 栏 下 面 的 两 个 比较 的 征 量 标准 。 在 评论 这 些 结 果 之 前 ,继续 者 虚 下 一 个 与 本 例 
互补 的 例子 ,将 是 很 有 指导 意义 前。 

例 3: Ra = cR; 

在 最 后 的 例子 中 ,过 程 噪声 向 量 四 fn] 的 相关 矩阵 及 ,等 于 某 一 常数 es 乘 以 给 入 向 量 
un) MEK R, 2H, RERA OAT cy 的 红 由 与 例 2 相同 。 因 此 ,在 式 (14. 的 ) 和 式 
(14.70) 中 , 令 R= czR 1 ,并 消去 比例 因子 es 后 ,可 得 到 表 14.1 PIER =R 之 下 的 两 
个 比较 的 衡量 标准 。 

表 中 示 出 的 2x2 阵 列 项 显示 出 一 个 很 有 用 的 特性 , 即 倒数 对 称 性 。 这 个 性 能 在 跟踪 范 转 
内 的 重要 意义 现在 将 变 得 很 明显 。 

该 阵列 中 的 跨 对 角 项 适合 于 应 用 柯 西 - 许 瓦 英 不 等 式 (Cauchy-Schwarz inequality) ,这 导致 
两 个 很 有 用 的 界 ( 昂 习题 7), 即 


Mar E Mir HFR, = oR, (14.74) 
和 
Qe Soe WFR, = oR,’ (14.75) 


3214.1 例 2 和 例 3 中 LUMS 算 法 和 RLS 算 法 的 比较 标准 


R, =R, R= cR, 














ania’ i M (M viR] 

Dia {tr[R tr[R,}} tr[R;] 

Ata [Ru] | ae 
ARLS (M ufR2]) M (r{R, jte[R; }) 


这 两 个 界限 实际 上 是 倒数 对 称 性 的 表现 形式 。 在 此 基础 上 ,我 们 可 做 如 下 陈述 : 
1) 当 R, =e, R, 时 ,LMS 算法 的 性 能 优 于 RLS 工法 ,这 是 因为 它 产生 的 最 小 失调 .fun 小 于 
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RLS 算法 的 最 小 失调 。 
2) 当下 =oR 时 ,RIS 算法 的 性 能 优 于 IMS 算法 ,这 是 因为 它 产生 的 最 小 均 方 偏差 
DB nin 1 T LMS 算法 的 最 小 均 方 偏差 。 
然而 一 般 来 说 ,我 们 不 能 根据 表 14.1 中 对 骨 项 的 含意 得 出 结论 性 的 意见 。 不 过 , 按 妥 前 
面 提 到 的 倒数 对 称 性 ,我 们 可 以 这 样 说 : 若 下 ,= ciR 时 , LMS 算法 的 最 小 均 方 偏差 多 加 小 于 
RLS 算法 的 最 小 均 方 偏差 ;而 当 R = eR) 时 ,RLS 算法 的 最 小 失调 必 m 小 于 LMS 算法 的 最 小 
失调 。 
为 了 说 明 后 一 论述 的 正确 性 ,考虑 一 个 用 =2 的 自 适 应 滤波 器 。 此 时 ,输入 向 量 a(n) 
2x2 相 关 竹 阵 可 表示 为 


Poy Faz 
对 于 这 个 特定 的 及 ,, 表 14.1 中 2x2 阵列 项 取 为 表 14.2 的 特殊 形式 。 其 次 ,容易 看 出 ,任何 
2x2 相 关 起 阵 都 满足 如 下 条 件 
{ri 一 rao) + (2ra F = 0 
由 表 14.2, 我 们 可 以 对 阵列 中 四 项 做 如 下 说 明 ; 
1) 当 及 ,= cl 及 时 ,LMS 算法 的 性 能 优 于 RLS 算法 ,这 是 因为 ,与 RLS 算法 相 比 , 它 的 最 
小 均 方 偏差 外, 和 最 小 失调 .机 min 都 更 小 。 
2) &R,=¢c,R,' 时 ,RIS 算法 的 性 能 优 于 LMS 算法 ,这 是 因为 ,与 LMS 算法 相 比 , 它 的 最 
小 均 方 偏差 号 FOR KAM in ABE 
例 2 fo] FARIA, A LMS 算法 还 是 RIS 算法 ,都 不 能 完全 独占 良好 的 跟踪 性 
能 。 相 反 ,我 们 发 现在 非 平稳 条件 下 进行 跟踪 时 ,优先 选用 这 两 种 自 适 应 溃 波 算法 中 的 哪 一 种 
要 取决 于 相关 的 环境 亲人 尾 。 


Bi4.0 W2RAS Py M=2 h} LMS BEM RLS 算 法 的 比较 标准 














R = oR, R, = cK,’ 
OEMs M (M iR” 
Bets (tr[R;*] rfR,]) [R] 
AMS _ tr[R,] ] aye 
MLS . (M tr[R2])” M (r[R rR] 





14.7 如 何 改进 RLS 算法 的 跟踪 性 能 


众所周知 ,对 于 一 个 给 定 的 线性 时 变 系 统 模型 , 当 其 工作 环境 为 高 斯 特性 时 ,卡尔 曼 滤波 
器 具有 最 优 的 跟踪 算法 。 由 第 10 章 介 绍 的 内 容 可 知 , 卡 尔 曼 滤波 器 和 RIS 滤波 器 之 问 存 在 着 


518 自 舌 应 滤波 器 原理 


一 一 对 应 关系 。 简 而 言 之 ,RLS RAE FRR Ta. AM TA RLS 滤波 器 
及 其 变种 不 完全 具有 卡尔 癌 滤 波 器 所 固有 的 良好 浓 踊 特性 呢 ? 在 对 这 一 进退 两 难 的 问题 给 出 
可 能 的 解释 之 前 ,有 必要 回 肘 一 下 标准 RLS 算法 的 状态 空间 模型 , 它 可 表示 为 ( 见 第 10.8 节 ) 
x(a + 1) =A xn) (14.76) 
y(n) = ul (njx(n) + vin) (14.77) 
HE TEAR AS Se (i A 5 14.1 A RKR PK, (14.22) 9 eS BE T eE 
SERRA] LAA POL eR, PI RA A EAO 76) PRR AS iA 
EBB TA. RMS ART AAR RR RAS). Ae Bit RLS 
算法 与 模型 有 关 , 由 此 便 知 该 问题 的 根源 。 
我 们 想 传 递 的 信息 是 ,如 果 系 统 设 计 音 知道 所 研究 问题 ( 某 个 特殊 任务 ) 基 本 物理 模型 的 
先 验 知识 ,那么 这 些 知识 应 该 用 来 为 RLS 算法 构造 一 个 适当 的 状态 空间 模型 。 其 次 ,我 们 通 
过 两 个 例子 来 说 明 如 何 实 现 这 一 日 标 了 。 


14.7.1 模型 IJ :含有 过 程 ( 状 态 ) 噪 声 向 量 


在 式 (14.1) 和 式 {14.2) 找 述 的 系统 辨识 问题 中 ,马尔 可 去 模型 有 非 零 过 程 噪声 击 量 
oln) Alt, RLS 算法 的 状态 空间 模型 可 表示 为 
x(n + 1) = ax(n) + n(n} (14.78) 
y(n) = ut (n)x(2) + vtn) (14.79) 
(14.78) PRS AE ol) T ERARA RS R, (rr) ,相同 于 式 (14.2) 的 
马尔 可 夫 模 型 过 程 噪声 问 量 w(n)。 例 如 ,我 们 有 R, (a) = 9L 其 中 工 是 单位 阵 。 在 这 种 情况 
下 ,噪声 向 量 v (nz) 由 一 组 独立 自 咒 声 源 组 成 ,每 一 个 具有 零 均值 和 方差 9?。 用 式 414.78) 的 状 
态 方程 代 蔡 式 (14.76) 意 味 着 ,卡尔 曼 滤 波 器 理论 中 的 滤波 状态 误差 相关 和 抑 阵 人 (na) 与 预测 状 
态 误差 相关 矩阵 Kin + 1,m) 不 再 相等。 特别 地 ,利用 式 (14.78) 并 假设 R, (n) = gE, PPH RIS 
算法 修正 为 (Haykin et al., 1997) 
从 W(O|-1) = Elw(0)] 和 P(0, 一 1) = Ty Ft, 对 n > 0 计算 
k(n) = aP(n,n — 1yu(n)[u*(n)Pln, n — Duta) + 1] 
(n) = y(n) — "(njn — Lula) 
Wn + ljn) = aw(n|n — 1) + k{njé*{n) 
P(x, 2 — lwin Pin 1 
P(n) = Pin, n ~ 1) 一 ot 
P(n + 1,n) 一 eePfn + ql 


D ATRAER DENNY HEE, Kadee 和 Gaston(1995} 在 其 论文 中 讨论 了 另 一 种 经 过 恬 正 的 RLS 等 法 . 这 一 
算法 以 归 一 化 的 递 妇 格雷 姆 -斯 密 特 {Grm-Schmidt) 正 交 化 过 程 为 基础 ,而 标准 RIS 算法 只 是 它 的 一 个 特例 。 由 
Kadlec 和 Gaston 提出 的 这 个 自 适应 滤波 算法 使 用 了 一 个 归 一 化 直接 加 权 方 案 , 司 得 该 算法 疹 亲 能 眼中 随机 游 动 模 
型 的 统计 参数 的 变化 。{ 第 10.1 节 介 绍 了 最 小 均 方 知 计 中 使 用 的 格雷 姆 -斯 窗 特 正 交 化 过 程 。) 
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因此 ,我 们 将 这 个 算法 称 为 1 典 广 义 RLS FG CERTS- 1). 
事实 上 ,ERIS-1 的 最 后 两 步 替 代 了 表 9.1 所 示 的 标准 RIS 算法 概要 中 的 最 后 一 步 。 注 
意 , 当 令 gqg=0 和 &=1 时 ,ERLS-1 IREX A= 1 的 标准 RLS 算法 。 


14.7.2 RE: SEERE ER 
gosh (14.78) PR Es et ES SORE oh, EEF Tat 
性 的 另 一 种 方式 是 含有 非常 数 的 转移 年 阵 , 如 下 述 方 竺 
xin t+ 1) = F(x + 1,n)x(n) (14.80) 
y(n) =u (n)x(n) + v(t) (14.81) 
Pa, CE BRR E Ay (SS ht ESI Eln +1. n) HPS BRA, BCR 
FUR BRS A OBER. GEA pm , ps，… ,py TORR R EER A et TR , BY 
表示 为 





F(a + i,m) = diag] p,, p2,.... Pst] (14.82) 
然后 TERPS I 
x'(n) = bal (14.83) 
p 
式 中 
P = (Pi, Press Par) (14.84) 


于 是 , 式 (14.80) 和 式 (14.81) 的 状态 空间 模型 可 用 非 线 性 形式 改写 为 


x{n+t+1)= ae | 


_ | diag[p;, p,..., Pu] | ka 
= | a ae i i (14.85) 
z 人 所 wy py ? |e 


yin) = utm, o| 2 | + y(n) 
= [u“(n), Oj (n) + v(a) 
换 句 话说 ,可 将 这 一 非 线性 状态 空间 模型 表述 如 下 ; 
。 修 正 的 状态 向 量 在 n+1 RIRH x (n+ 1 是 它 的 时 刻 值 于 (mn) 的 一 个 非 线 竹 函数 。 
o 观测 值 ，(m) 由 另 一 个 非 线性 函数 x(n) EMRE v( 4) 组 成 。 
亚 注 意 的 重要 _ 点 是 ,无 论 非 线性 函数 还 是 依赖 于 未 知 参数 pi, pa, ps 的 方法 都 是 已 
知 的 。 这 世 意 味 着 ,可 以 相对 于 这 些 未 知 参数 计算 x(n) 和 y(n) 的 梯度 ,并 就 此 设置 所 用 RIS 
届 广 义 卡尔 曼 滤 波 器 的 级 , 它 本 身 又 为 眼 踪 非 平稳 系统 (其 状态 空间 是 非 线性 的 ) 提 供 了 一 个 


部 件 。 广 义 卡尔 曼 滤 波 器 的 推导 ,取决 于 所 用 系统 的 非 线 性 状态 空间 模型 的 “线性 化 "过程 ,如 
第 10.10 节 所 述 。 从 本 质 上 讲 , 这 一 过 程 导致 模型 的 一 个 线性 “近似”, 此 后 ,就 可 以 利用 卡尔 


(14.86) 
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Sve ps HIS GRE RIS 型 ), 以 通常 的 方式 估计 未 知 状 态 向 量 x(n) 和 未知 参 数 向 全 p。 由 此 
得 到 的 算法 称 为 了 型 广义 RLS 算法 {ERLS-2), 其 计算 步骤 如 下 (Haykin et al., 1997) 


en 7 Pe | 
开始 对 n>0, 计 算 


k(n) = P(n, n ~ of |f furen) 0JP(n, n -~ ol ee E vn) 


in) = y(n) — W"(a|n — Lula) 


te _ Be = 2 3 
i j in-i T kime (n) 


wn + 1|n) = Fih Ainin) 
P(n) = (I - k(n)|u¥{z), 0) Pim 2 ~ 1) 
和 
Pin + in) = Fn + 1, n)P()F4(n + 1,n) 
在 介绍 ERLS-1 算法 和 RLS-2 算法 时 ,这 里 尝试 做 的 重要 一 点 是 ,根据 RLS 变量 和 卡尔 曼 
变量 之 间 的 一 一 对 应 关系 ,有 大 量 关于 卡尔 曼 滤 波 器 理论 的 文献 ,可 帮助 我 们 通过 在 算法 中 引 
作 先 验 知 识 来 构造 改进 型 RLS 算法 ,以 便 适 当地 处 理 非 平稳 系统 的 跟踪 问题 。 


14.8 系统 辨识 的 计算 机 实验 


AHR KABUL, US 14.6 EPA 2 和 例 3 的 结果 以 及 第 14.7 节 介 绍 的 
内 容 为 基础 ,并 采用 抽 头 数 为 好 =2 的 自 适 应 横向 滤波 器 。 该 实验 的 目的 有 了 两 个 : 
o 证 明 LMS 算法 的 性 能 有 可 能 优 于 RIS 算 法 ,反之 亦 然 。 
+ EHA ERLS-1 算法 的 跟踪 最 优 性 ,并 与 标准 RLS 算法 和 IMS 算法 比较 。 在 这 个 实验 
中 ,有 三 组 要 考虑 的 参数 : 
1) 基本 参 教 ,组 成 如 下 : 
o 参数 a 和 式 (14.1) 的 一 阶 马尔 可 夫 模 型 中 零 均 值 测量 噪声 y(n) 的 方差 oo 
® SA He uf n Re R, 中 的 元 素 rs ra 和 Fro 
2) 辅助 参数 ,组 成 如 下 : 
@ “R, -c R, 时 的 比例 因子 el( 例 2)。 
9 当 及 ,= csR;'! 时 的 比例 因 于 es.( 例 3)， 
这 里 ,R, 是 一 阶 马 尔 可 去 模型 中 零 均值 过 程 噪声 向 量 on) KE. 
D 参考 基准 , 任 选 为 


5 = oats 


输入 向 量 un) 由 一 个 二 维 高 斯 过 程 产生 ,该 过 程 的 均值 为 等 ,相关 矩阵 为 
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a = 0.9998 


模型 参数 为 


和 
a = 0.04 
这 就 完成 了 这 个 实验 基本 参数 的 确定 。 对 于 辅助 参数 ,我 们 有 
cl = 2.7344 x 1o4 


和 
0 = 0.160 x 10* 
最 后 ,参考 基准 为 
8 = 0.01 
为 了 初始 化 实验 , 设 定 
E[w,(0}] = @ 


在 各 态 历经 的 假设 下 ,瞬时 加 权 误 差 向 量 
e(n} = w,(n) — W{(n|n — 1) 


AY EA et a AS CBD Br a BE AS Be IS TOL BAT N = 50 000 次 迭代 的 模拟 实验 结果 
取 时 间 平 均 测 出 。 在 这 项 实验 中 ,， 当 迭代 指标 n = 50 000 时 刚好 求 出 这 个 时 间 平 均值 。 通 过 
注意 到 模拟 量 与 N 之 向 关系 曲线 在 该 欠 代 点 附近 设 有 明显 变化 ,可 证 实 这 样 选择 N A n 的 
值 是 合适 的 。 

# 14.3 提供 了 两 种 情况 下 模拟 的 结果 : 


情况 1:R, =c,R, 
情况 2:R, = c,R,' 


对 于 每 一 种 情况 , 表 中 所 列 实 验 数 据 包括 如 下 内 容 : 


e 由 标准 RIS 算法 产生 的 最 小 均 方 侦 差 8 和 失调 
@ 由 LMS 算 法 产生 的 最 小 均 方 偏差 多 ws 和 失调 .人 
由 ERES-1 算法 产生 的 均 方 储 差 名 和 最 小 失调 术 


模拟 结果 清楚 地 证 明 ,在 第 - -种 情况 下 ,LMS 算法 的 性 能 优 于 标准 RLS 算法 ;而 在 第 二 种 
情况 下 ,情况 正好 相反 。 此 外 ,这 些 结果 还 证 明 , 在 每 一 种 情况 下 , ERLS-1 算法 优 于 最 优 LMS/ 
RLS 算法 (尽管 只 是 很 更 强 )。 这 种 微小 的 改进 大 概 不 会 是 人 为 选择 实验 参数 (造成 的 )。 这 种 
选择 使 得 相对 均 方 权 值 偏差 和 相对 均 方 失 调 都 很 小 ,以 致 于 算法 的 性 能 差异 不 易 看 清 , 由 于 它 
被 看 做 正常 模拟 方差 和 数值 噪声 。 
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表 14.3 黄种 森 同 情况 上 下 的 仿真 结果 





情况 1 情况 2 
ES R= oR, R, = eR,’ 

opus 0.0105 0.0103 
aoe 0.0071 0.0135 
gz BRL 0.0068 0.0102 
ane 0.0842 0.0423 
oe Dis 0.0698 0.0666 
gE 0.0673 0.0419 


14.9 自 适应 常数 的 自动 调节 


回顾 图 14.1 所 示 的 时 变 系 统 模 型 ,我 们 已 经 知道 ,如 何 利用 式 (14.34) 或 式 (]4.39) 计 算 
LMS 算法 中 的 落 长 参数 o 的 最 优 值 ,以 及 如 何 利用 式 (14.60) 或 式 (4.65) 计 算 RLS 算法 中 指 
AWRAT 4 的 最 优 值 。 不 管 使 用 何 种 优化 标准 评价 自 适 应 滤波 器 的 跟踪 性 能 , 均 需 已 知 马 
尔 可 夫 异 型 中 过 程 噪声 问 景 fn) 的 相关 年 阵 及。 和 输入 向 量 SE RR, 。 这 一 观察 
结果 促使 我 们 考虑 一 个 基本 问题 , 郧 所 有 自 适 应 滤波 赖 以 正常 工作 的 核心 问题 ; 

当 滤 波 器 工作 环境 的 具体 物理 模型 及 其 时 变 特 性 未 知 时 ,如 和 何 选择 LMS RAPP RAR 

或 REIS 和 工法 中 指数 加 权 因 子 二 者 的 最 优 值 。 

为 了 达到 调节 LMS 算法 中 上 和 RS 算法 中 1 的 目的 ,Benveniste 等 (1990) 对 LMS 算法 和 
RLS 算法 提出 了 某 些 改 进 措施 , 即 在 原 算 法 各 自 公 式 的 基础 上 释 加 某 些 自 适应 方案 。 这 个 思 
想 的 实际 正确 性 已 为 如 下 工作 所 完全 证 明 :1) 关 于 自 适 应 均衡 和 锁 相 环 中 的 信和 号 处 理应 用 
[ Brossier( 1992} ];2) 基 于 源 自 湖 机 近 和 要 理论 强 右 力 缚 果 的 收 和 化 性 证 明 [Knshner & Yang(1995) ] 。 


14.9.1 带 有 自 适应 增益 的 LMS 算法 


由 Benveniste 等 {1990) 提 出 并 经 Kushner 和 Yang(1995) 进 一 步 完 善 的 自 通 应 方案 的 月 的 
是 , 求 出 步 长 参数 的 特定 值 的 一 个 估计 ,以 使 集 平均 代价 函数 








I{n) = 3 Blletn)" (14.87) 
最 小 化 , 式 中 
e(n) = d(n) 一 Wan) (14.88) 
是 估计 误差 。 求 代价 范 数 J(n) 关 于 步 长 参数 p 的 偏 导数 ,得 标量 梯度 
af (rn) 
AO lars 
(14.89) 
=> [= e*(n} + "i Lefn) | 
从 式 (14.88) 中 ,容易 求 出 
六 ef ma 


= 一下 *(n)u(n) (14,90) 
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re er 


式 中 向 量 囊 (nn) 表示 抽 头 权 向 量 w(n) 关 于 步 长 参数 u 的 梯度 , 即 





wie) 
pape (14.91) 
于 是 ,可 将 标量 梯度 重新 定义 为 
Valna) = = 5 Elna (nder(n) + ustn)b( netn)] (14.92) 


现 分 别 用 za) 和 w sa) 表示 由 运行 自 通 应 方案 得 出 的 步 长 参数 y 的 实际 序列 和 w( 5) 的 估计 
值 。 这 个 自 适 应 方案 是 以 选 代 方式 进行 的 。 佑 计 得 wf mn) 的 计算 遵照 式 (5.8) 描 述 的 LMS 算 
法 。 同 理 , 我 们 可 表示 更 新 x(n) 的 递归 关系 式 为 
a(n +1) = pln) — &¥,(n) (14.93) 
式 中 a 是 一 个 数值 很 小 的 正 学 习 隶 率 参 数 , 间 ,(n) 是 标量 梯度 卫 ,(n) 的 一 个 估计 值 。 
WE May (n) = Bw(n)/ar(m) 为 导数 于 (ma) 的 估 值 , 则 在 式 (14.92) 的 基础 上 ,可 将 瞬时 估计 
表示 为 
Gln) = -3 han)er(n) + w(nyb(njetn)| 
= —Re[ ds" (n)u(nje*(n) | 
ÈH Re 表示 取 实 部 算 子 ,而 stn) 由 式 {14.88) 定 义 , 并 用 估计 值 w(n) 代 埠 wine 
下 面 ,我 们 来 描述 LMS 算法 中 用 来 调节 步 长 参数 的 两 步 自 适 应 方案 ; 
1) 给 定 步 长 参数 的 过 去 值 x(n), 则 其 更 新 值 可 用 如 下 递归 公式 计算 , 妈 
p(n +1) = pln) + a Relyb "(nutnye*(n))] (14.95) 
2) 从 通常 的 更 新 权 向 量 的 递归 关系 式 出 发 , 即 
win t+ 1) = Win) + p(njutn)e*(n) (14.96) 
并 求 它 关 于 p(n 19 FR, HR Bi (BI Rh 
de*( st) 
dain) (14.97) 
= b(n) + u(nje*(n) 一 Raman 二 (加 
在 式 (14.97) 的 最 后 一 行 中 ,我 们 已 将 式 (14.90) 用 于 当前 的 问题 ,并 用 审 (n) 代 震中 (n)。 
至 此 ,可 将 带 有 自 适应 增益 的 LMS 算法 总 结 如 下 : 
从 初始 值 w(0) 400) 和 中 (0) 出 发 ,对 n>0, 计 算 
e(n) = d(n) 一 W"(njutn) 
Win +1) = Wn) + u(n)a(n)e*(n) 
u(n +1) = [p(n) + a Re[ h(n )atn)e*(a) lie 


(14,94) 





h(n + 1) = h(n) + ufn)e*(n) + p(n)u(n) 


jn +1) = [1 — w(n)u(nya* (in) b(n) + eaei) 
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在 算法 的 第 三 行 中 ,括号 外 的 上 标 ue, 和 下 标 Ht. 表示 截取 。 根 据 Kushner 和 Yang( 1995) 
给 出 的 模拟 结果 ,截取 的 下 限 yy RAP AMBER RE, BOG AS EDR, -- 
方面 ,截取 的 上 限 e, 的 取 值 却 关 系 到 算法 跟踪 性 能 的 好 坏 。 通 常 ,具有 良好 跟踪 人 性 能 算法 的 
步 长 参数 的 最 优 值 接近 于 不 稳定 点 ,因此 , 若 n 的 取 值 过 大 , 则 有 可 能 引起 LMS 算法 不 稳定 。 
在 各 种 应 用 中 ,用 户 通常 有 足够 的 经 验 ,知道 如 何 设 置 ,的 值 . 


14.9.2 带 有 自 适 应 记忆 的 ALS 算法 


下 面 ,考虑 能 自 适 应 调节 指数 加 权 因 子 2 的 ROS 算法 。 此 时 ,我 们 的 目标 是 寻找 4 的 一 
个 特殊 值 ,以 优化 代价 函数 











Tin) = -了 Ellé] (14.98) 
式 中 
(a) = d(n) ~ Wn — utn) (14.99) 
是 先 验 估计 误差 。 求 代价 函数 I ORT A 的 导数 ,得 到 
al'{ 7) 
Vala) = JA 
(14.100) 
1 en) 0, aé*(n) 
= 1 El EU) g*(n} + — gtn) | 
其 次 ,定义 
b(n) = om) (14.101) 
则 利用 式 (14.99), 可 将 标量 梯度 重新 定义 为 
V,(a) = - 5 Elon — Ljutnjé*(a) + uw npn — Léin) (14.102) 
RLS 算法 中 抽 头 权 向 量 的 更 新 ,涉及 到 增益 向 量 k(n) = Pen)u(n), 妇 [参见 式 (14.41)] 
| win) = wa — 1) + Pirjo(n)é*(n) (14.103) 
AH P(n) = 中 (mn)。 
令 
S(n) = Pt) (14.104) 


SWABS RE PMET a 的 偏 导数 。 如 将 式 (14.99)、 式 (14.103) 和 式 (14.104) 用 于 式 
(14.101), 48 

w(n) = [I — kinajat (2) pin — 1) + S(nju(n)é*(n) (14,105) 
为 了 递归 地 计算 Slin), 首先 利用 式 (9.18) 和 式 (9.19} 写 出 
NAPA — lulanje” {n Pin — 1) 


1 + A'u” {n)P{n — Lule) (14.106) 


P(n) = A'P(n — 1) — 
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然后 , 求 式 (14.106) 关 于 A 的 导数 并 合并 相关 项 ,得 到 
S(m) = ATL — k(nju"(n)|S(n — DEL ~ u(n)k”(n)] 
+ Ak)k’ (n) 一 ATP(n) 

现在 准备 构造 带 有 自 适 应 记忆 功能 的 RLS 算法 。 令 ACn) WODA RRR REE n 
次 和 失 代 求 出 的 指数 加 权 因 子 . 抽 冻 权 向 量 (ay 和 梯度 灿 (o2) 的 实际 值 。 则 在 式 {14.102) 的 基 
础 上 利用 标量 梯度 Vx(n) 的 瞬时 估计 - Ref" (a - Dule) E (n)], 可 写 出 指数 加 权 因 子 的 
自 适 应 递归 关系 式 为 

Aln) = Ala — 1) — a¥,(n) 
= A(n — 1) + @Re[b" a — 1)u(n)é*(n)] 

AP a 是 一 个 数值 很 小 的 正 学 习 速 率 参 数 。 将 这 个 递归 公式 并 人 标准 RL 算法 ,可 将 带 有 自 
适应 记忆 功能 的 RLS 算法 总 结 如 下 : 

从 初始 值 W(0) ,PC0) S(O) .1(0) 利 中 (0) 出 发 ,对 二 >0 计 算 

Am — 1)P(n — Lun) 
1+ Xn 一 Tsfnefn — utr) 
(n) = d(n) — Wn — 1)u(n) 
Hn) = Wn ~ 1) + k(n)é*(n) 
Pin) = Al(n — LI)P(n - 1) — A(n - ljk(nju”(n)P{n — 1) 
A(n) = [A(n — 1) + a Rel’ (a — ulitin) 
S(n) = A'(n)(I — k(n)u"(n)[S(m — DHE — ufak” ({7)] 

+ A'Un)kK(a)k? 一 AT (n)P(n) 


(14.107) 


(14.108) 





k(n} = 


All 
win) = [I — kiu”) b(n — 1) + S(n)u(n)é*(n) 

WARA Bike LMS 算法 一 样 , 此 处 括号 外 的 上 标 A, AP oR A. RR. AT A 
截取 的 上 限 4 , 置 为 一 个 接近 于 《但 小 于 )1 的 数 。 截 取 的 下 限 4 _ 对 算法 跟 距 性 能 的 好 坏 起 
着 至 关 重 要 的 作用 ,其 取 值 必须 由 用 户 通 过 实验 确定 。 

除了 用 时 变 指数 加 权 因 子 A(n - 1) 代 替 固 定 值 ; 外 , 带 有 自 适应 记忆 功能 的 RLS 算法 的 
前 4 行 与 第 9 章 中 导出 的 传统 RLS 算法 完全 一 样 。 该 算法 的 最 后 3 行 特别 关注 算法 从 一 个 选 
代 到 下 一 个 迁 代 时 指数 加 板 因 子 的 自 适 应 。 


14.10 本章 小 结 


本 章 研究 了 运行 在 非 平 稳 环 境 下 自 适 应 滤波 器 的 跟踪 性 能 。 首 先 , 跟 踩 是 特定 的 问题 。 
因此 ,用 在 系统 因 识 中 的 自 适 应 滤波 器 的 跟踪 性 能 ,是 十 分 不 同 于 用 于 信道 均衡 或 加 性 噪声 条 
件 下 自 适应 恢复 期 望 信 号 的 自 适 应 汗 波 器。 

为 了 评价 一 个 自 适应 滤波 器 的 跟踪 能 力 , 可 利用 均 方 偏差 多 (mn) 或 失调 量 村 (n)。 这 两 个 
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性 能 指标 以 不 同 的 方式 关注 和 适应 滤波 器 的 跟踪 性 能 。 值 得 注意 的 重要 之 处 是 ,在 任何 一 种 
情况 下 , 均 可 辨别 出 两 种 成 分 ,一 种 代表 平稳 情况 , 另 一 种 起 因 于 环境 的 非 平 稳 性 。 
在 均 方 偏差 各 失调 的 基础 上 我 们 发 现 LMS 算法 比 LS 算法 一 般 虽 现 更 鲁 棒 的 跟踪 特性 。 
因此 我 们 毫 不 惊奇 地 发 现 , 在 时 变通 信 信 道上 进行 数据 传输 时 ,LMS 算法 优 于 RLS 算法 ,不 仅 
因为 LMS 算法 简单 ,还 因为 它 有 更 好 的 跟 深 能 力 。 
后 面 的 这 段 论 述 属 于 常规 的 RLS 算法 ,如 第 9 章 所 述 。 然 而 ,我 们 并 不 只 限于 这 种 形式 的 
RIS 算法 ,而 是 根据 RIS 变量 与 卡尔 曼 变 量 之 问 存在 的 一 一 对 应 关系 ,利用 大 量 有 关卡 尔 曼 滤 
菠 器 理论 的 文献 来 构造 合乎 实际 需要 的 其 他 形式 的 RIS 算 汰 。 竺 别 地 ,我 们 提 到 了 了 两 个 可 能 
的 途经 : 
1) RIS 算 法 的 基本 状态 空间 模型 用 式 (14.78) 和 式 (14.79) 表 示 ,模型 中 包含 有 过 程 噪声 
向 量 mw (na) ,以 便 说 明 滤波 占 工 作 环境 的 非 平 稳 性 。 这 一 方法 很 适合 于 求解 用 马尔 可 
去 过 程 描述 的 系统 辨识 问题 [如 式 (14.1) 所 示 ]， 

2) 通过 在 RLS 算法 的 状态 空间 模型 中 包含 转移 矩阵 Fia + 1,n) 来 说 明 非 平稳 性 ,其 中 
Fín +1,n) 是 一 个 非常 数 甚至 未 知 的 短 阵 。RILS 算法 的 状态 空间 熏 型 然后 用 非 线性 
项 表示 ,并 援引 广义 卡尔 曼 滤 臣 器 体系 的 应 用 。 这 一 方法 适合 于 跟踪 诸如 加 性 噪声 址 
FT HS. 


简 而 言 之 ,每 当 有 关 先 验 知识 可 用 时 ,应 该 利用 它 来 使 RIS 算法 的 状态 空间 模型 与 待 求 
解 问题 的 数学 模型 之 闻 失 配 最 小 ,从 而 改进 RS 算法 在 非 平 稳 环 境 下 的 跟踪 性 能 。 

然而 , 当 非 平移 条 件 下 的 基本 物理 模型 及 其 时 变 特性 来 知 时 , 为 了 达到 调节 LMS 算法 中 
步 长 参数 p 和 RLS 算法 中 指数 加 权 因 子 4 的 目的 ,可 通过 在 它们 的 各 自 实现 中 合 加 一 个 自 适 
应 增益 或 自 适应 记忆 ,来 优化 LMS 和 RLS 这 丙种 算法 的 跟踪 性 能 。 








14.11 习题 


1. 试 定 性 撒 述 时 变通 信 信 道 自 适应 均衡 器 与 固定 特征 通信 信道 自 适应 均衡 器 的 误差 特性 曲 
面 之 闻 的 差异 。 
2. 在 预测 中 ,车 期 望 响应 由 信和 号 的 当前 值 组 成 , 输 人 向量 由 有 限 个 信号 的 过 去 值 组 成 , 试 描述 
非 平稳 过 程 中 自 适 应 预测 器 与 平稳 过 程 中 自 适 应 预测 器 误差 特性 曲面 之 间 的 差异 。 
3. 加 权 误 差 向 量 stn) 可 以 表示 为 权 向 量 喉 声 e (n) AREER e(a) 之 和 , 试 证 明 
Elef (nyeztn)] = Ele#(n)e(n)] = 9 
并 利用 第 14.1 节 中 所 和 做 假设 ,证 明 
Efje(a)?] = Flea0e 站 二 Elhiex(a)"] 
4, 继续 习题 3, 试 用 第 14.1 节 中 所 做 假设 ,证 明 
Eļe#{nju{nju {nje (n)] = tr[R, Ki(n)] 
E(e#(n)u(nju"(n)e2(n)] = tr[ RK) | 


Elef(nju(nja4(n)e.(n)] = Fle? (nju(n)u"(nje;(2)] = 0 
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式 中 u(n) 是 均值 为 零 的 输入 向 量 , 良 , 是 un AES: K (rn) AO K, (0) 4b Sl dee, Cn) 
和 e (n AHERE, EH en AAKER Kn) KK,(n) 和 到 (n) 之 间 的 关系 ， 
. 假设 瞬 态 分 量 已 经 消失 , 试 在 第 5.4 节 中 介绍 的 小 步 长 LMS 理论 的 基础 上 ,从 式 (14.31) 出 
发 ,导出 LMS 算法 的 均 方 偏差 公式 (14.32)。 
. 在 本 题 中 ,我 们 继续 讨论 LMS 算法 在 小 步 长 参数 假设 下 的 跟踪 性 能 。 假 设 有 瞬 态 分 景 已 经 消 
失 , 试 从 式 (14.36) 出 发 ,导出 LMS 算法 的 失调 公式 (14.37)。 
. 给 定 同 维 数 的 向 量 和 v, 柯 西 - 许 瓦 菊 涉 等 式 表 示 了 它们 之 间 的 关系 

yl = pxl 
将 这 个 不 等 式 用 于 表 14.1 中 2x2 阵列 的 交 只 对 角 项 , 导出 式 (14.74) 和 和 式 (14.75) 的 结果 。 
,继续 讨论 表 14.2 所 列 Ms 2 时 月 适应 恋 波 器 的 结果 。 通 过 如 下 工作 证 明 该 表 中 所 列 各 项 
的 正确 性 : 
(a) 确 定 LMS 算法 的 最 小 均 方 偏差 名 I A i PO AP BR 上 的 最 优 值 。 
Cb) WE RLS BEA EEY A PED ma 、 最 小 失 油 .ttws 各 相应 的 指数 加 权 因 于 Be ALE 
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长 脉冲 响应 自 适 应 滤波 副 的 十 求 最 初 源 于 诸如 卫 程 电话 会 议 中 国 音 消除 之 类 的 问题 。 对 
付 这 种 需求 可 通过 以 下 两 种 途径 :如 第 6 章 所 讨论 的 ,对 归 一 化 LMS 滤波 器 施加 控制 ;或 如 第 
7 章 所 述 ,在 频 域 实现 LMS 滤波 器 。 当 然 , 亦 可 采用 下 列 丙 种 方法 构造 这 种 滤波 器 : 
o 以 计算 费用 远 低 于 相应 的 有 限 脉 冲 响 应 (FIR) 自 适应 滤波 器 的 方式 ,构建 以 无 限 脉冲 响 
应 (ITR) 线 性 凄 波 器 为 基础 的 自 适应 过 程 。 
e 使 用 以 横向 Laguere 结构 为 基础 构建 的 阶 阅 归 自 适 应 滤波 器 。 它 是 一 个 由 FIR 和 HR 
证 波 需 组 成 的 混合 站 波 右 。 


本 章 讨论 如 何 按照 这 两 种 方法 设计 自 适 应 滤波 器 。 为 了 简便 起 见 , 我 们 只 限于 讨论 处 理 
实数 据 的 滤波 义 。 


15.1 IR 自 适应 滤波 器 ;输出 误差 法 


通常 ,IIR 滤波 器 的 基本 结构 与 自 回归 滑动 平均 (ARMA, autoregressive moving-average) 模 型 
的 结构 相同 ,其 输入 输出 关系 定义 为 


M N 
y(n) = nun ~ i) + Z bn) yn uh) (15.1) 


式 中 a(n) Al 6, (n eR RR, 4 N= M Bay = 1 AY, 015.1) ERR 15.1 
Bra, “QTR RE RR AEN , A SOP eS 





H(z) = 5 (15.2) 
等 效 地 表征 ARMA 模型 , 式 中 多 项 式 A(z) 和 B(z) 分 别 为 
A{z) = > (15.3) 
和 N 
B(z) = mba (15.4) 


使 用 ]IH ERE HARES OMT RRR, APR RRM, R 
们 可 以 用 两 种 方法 之 一 , 即 输出 误差 法 或 方程 误差 法 (Goodwin & Sin, 1984; Regalia, 1995). 4 
节 讨 论 输出 误差 法 ,而 下 一 节 介 绍 方 程 误差 法 。 

15.1.1 输出 误差 法 


图 15.2 是 输出 误差 法 的 框图 表示 ,图 中 用 一 个 z 域 表示 的 IR 自 适 应 滤波 器 来 辨识 某 一 
未 知 线性 动态 系统 。 在 这 个 系统 辨识 应 用 中 ,输入 信号 a(n) 同 时 加 到 未 知 系统 和 自 适应 滤 
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波 器 上 ,由 此 分 别 产 生 期 轧 啊 应 dan) 和 实际 滤波 将 的 输出 y(n), Ai RRA RAN E 
Hew nce MAP aln) oA] b (Cn), eee ee, BR 

Wn) = lagi). ay(n),..., u(t). bn), Bolin), a, BDT (15.5) 

输入 


fa 
Nin} 







图 15.2 使 用 滤波 器 的 系统 辨识 框图 :输出 误差 法 


假设 处 理 的 是 实 值 信号 , 权 向 量 W(n) 的 调整 可 通过 最 小 化 瞬时 代价 函数 
1 2 
S(n) = 5 en) 
获得 , 式 中 误差 信和 号 
ela) = d{a) — yin) (15.6) 


eS ew 5 SE ASE, ORR AB A OR. E 15.2 中 ,输出 
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y(n) 由 式 (15.1) 和 定义 。 按 照 第 5 章 介 绍 的 LMS 算法 的 推导 过 程 , 可 将 第 n MRR AA a 


(a IDR A wn) RELIG | 
ad (n) 


awr) 
式 中 u EPKER AC TC EF w (BI TE, AREJEA (na Iw j 个 分 
量 为 





Aw(n) =- (15.7) 





at tn) (n) deln) 

tasty = ela) a 

awin) aw (r) 
F ay(n) (15.8) 
= e(n) dw,{n) 


从 式 (15.1) 可 以 看 出 ,滤波 器 的 输出 y(n) 与 其 自身 的 过 去 值 有 关 。 因 此 ,在 求 偏 导 数 
ay( nid, (na) 时 要 小 心 进行 。 特 别 地 ,我 们 有 

















ayin — i . 
ayin) uin- f) + SY bln) 让 la) ) Fwlian) = a(n) 
SAN m1 ee (15.9) 
+, 1 日 一 a 
AD Syna Eo D NEBAN) = Bn) 
为 了 简化 表示 ,引信 如 下 两 个 定义 
Syl) - /=0,1,...,M 
3a(n) a(n) MPF = 0,1,.…， (15.10) 
ð 
S = pn) MEF = LDN (15.11) 


同时 还 假设 ,滤波 器 对 较 小 的 NA M, LEE A ETT BE, EPI AT i =1,2,..- N 
做 如 下 两 个 近似 





=a,(n — i) (15.12) 


( 
ðy(n ~i} dy(n — i) 
ab(n) ~ bán = i) 


因此 ,可 将 式 (15.9) 改 写 为 如 下 用 wkn) 和 有 (nm) 表 示 的 一 对 递归 差分 方程 








= Bn — i) (15.13) 


N 

a(n) = u(n T j) + D h(njaln ~ i 对 于 一 0,1,..., M (15.14) 
i=] 

Bln) = y(n -+ Sola -i MF, H12,..,N (15.15) 
i=] 


现 可 用 式 (15.7) . 式 (15.10) 和 式 (15.11) ,正式 定义 计算 IR BRR A 
wa t+ 1) = win) + A(n) 
(15.16) 
= wn) + pe(ajy(n) 
式 中 
y(n) = [aoln), aln), --., antn), Bil), Bln), -Bain f (15.17) 
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是 (N+ M +1) x 1 HEUER RDA ao ad o Eb, Ga ad OR A 28 Od ER 15.14) 和 方程 
FACIS.1S UT y(n) 定 义 中 涉及 的 系数 {n) 和 (nn)。 
15.1.2 输出 误差 法 IIR 自 适应 滤波 器 小 结 
表 15.1 给 出 设计 IR 自 适 应 滤波 器 用 输出 谋 差 LMS 算法 的 小 结 。 值 得 注意 的 是 , 表 中 的 

运算 过 程 可 做 进一步 简化 。 特 别 地 , 式 (15.17) 中 滤波 回归 器 向 量 能 够 得 益 于 如 下 近似 

w(A) = aga — j) j =1,2,..., M (15.18) 
和 

Bln) = Bin- jt 1) j=2,....N (15.19) 
SE Ae I 8 2 A | aS Se ee By PB eS A ISS 
器 ,而 表 15.1 中 需要 附加 M+ 六 个 滤波 器 。 

15.1 应 用 输出 误差 法 的 IR 自 送 应 LMS 算法 小 结 ! 实 数据 时 )} 


初始 化 :Ww(0}) =0 
计算 :对 n=l, 2 yaaan 计算 


yin) = a,(ajuln 一 + Bian 
of 
eln) dn} vn) 


min) =u(n -j) + Shan i}, jf =0,1,...,M 


Bin) sy(n- f+ + DAAC, f= 1,2,...,8 


yin) =Caylalarlal,..., ay(n).f, Cn), fotn),..., 和 (ay 
win + 1) =win} + pela y(n) 


fA FESR (15.18) FUR 15. 19) a8 FB FE BT FM : AE E E aD PB ET 
但 点 , 则 该 点 处 滤波 器 参数 保持 不 变 , 上述 两 个 方程 就 变 为 精确 方程 。 更 一 般 地 ,只 要 滤波 器 
慢 速 自 适 应 ,在 进行 近似 前 误差 就 相当 小 ,于 是 用 或 不 用 近似 表达 式 的 IIR 自 适应 滤波 器 的 收 
全 特性 实际 上 是 一 样 的 (Shynk ,1989)。 


15.1.3 输出 误差 法 的 局 限 性 
遗憾 的 是 ,设计 TIR 自 适 应 滤波 带 用 输出 误差 法 遇 到 以 下 两 个 限制 ， 


s 误差 特性 曲面 除了 一 个 全 局 极 小 点 外 ,还 有 许多 局 部 极 小 点 ,这 意味 着 我 们 无 法 确定 用 
这 种 方法 设计 的 IR 自 适应 滤波 器 是 否 是 全 局 最 优 的 。 

e 不 能 保证 ARMA 模型 的 极点 始终 在 2 平面 的 单位 贺 内 ,这 意味 着 IIR 自 适应 滤波 器 有 
可 能 变 为 不 稳定 。 


在 实际 使 用 过 程 中 ,可 在 自 适应 方程 中 引入 某 种 简短 的 稳定 性 测试 过 程 来 克服 不 稳定 问题 。 
但 这 样 一 来 ,会 放 慢 自 适 应 的 速率 中 。 至 于 局 部 最 小 问题 ,可 用 下 一 节 的 方程 误差 法 来 克服 。 








D Carini 等 (1999) 在 其 论文 中 讨论 了 输出 误差 法 IIR 自 适 应 滤波 器 的 稳定 性 和 户 适 应 速率 之 问 的 关系 问题 。 使 用 另 
-种 结构 , 即 梧 型 结构 的 清 波 器 可 以 组 逢 滤波 器 的 不 稳 定 问 题 。 有 关 这 一 问题 的 详细 论述 ,可 参考 Mim 等 (1994) 
和 Regatiat1995) 的 论文 。 
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15.2 IR 自 适 应 滤波 器 :方程 误差 法 


在 另 一 个 设 i| lMR 自 适 应 滤波 器 的 方法 中 ,在 滤波 器 训练 阶段 ,用 期 望 响应 dn RER 
{15.1) 右 边 第 二 个 米 和 号 中 的 滤波 器 实际 输出 ytn) ,结果 的 方程 为 
M N 
y(n} = D ail) 一 站 十 > biln)dtn — į) (15.20) 
上 式 明 显 不 同 于 ARMA 模型 的 实际 输出 。 相 应 地 , 定 关 误差 信号 为 
e'(#t) = d{n) — y(n) (15.21) 
该 式 用 于 调整 两 组 模型 参数 :ia (nt Ala Cn)l*o。 第 二 个 方法 取 各 方程 谋 差 法 的 原因 
是 ,在 该 法 中 误差 信号 由 -- 个 方程 来 定 头 ,人 格 不 是 如 输出 湿 差 法 中 那样 根据 实际 自 适 应 滤波 宫 
的 输出 炉 定 闵 。 因 此 ,在 系统 辨识 问题 中 ,可 用 图 15.3 所 示 的 框图 来 表示 方程 误差 法 。 与 答 
出 误差 法 不 同 ,方程 谋 差 法 基 出 二 次 误差 特性 曲面 表征 的 ,所 以 它 不 会 受到 局 部 最 小 问题 的 限 
制 。 
方程 误差 e'(%) 与 输出 误差 e(n) 本 质 上 是 相关 的 。 特 别 地 ,将 式 (15.21) 与 式 (15.6) 相 
减 ,并 利用 式 (15.1) 和 式 (15.20) 给 出 y(n) 和 y(n) 的 定义 ,可 以 得 到 
e(n) — eln) = y(n) — yin) 


N ， 
=- > b{n\(d(n — i) - y(n — ù) 


(15.22) 
二 一 Š banjet 一 站 
本 
经 整理 后 得 
N 
e(n) = e(n) 一 DS bln)etn — i) (15.23) 
ii 


式 (15.23) 中 的 求 和 项 是 b, Me AIXAM BH, All, 对 等 式 两 边 求 2 变换 后 ,得 
到 
E'(z) = (1 ~ B(z))E(2) (15.24) 


武 中 EDA EC.) BE RS e (n) 和 输出 误差 (na) 的 z 变换 ,而 且 当 b 固定 不 变 
时 ,z 变换 B(z) 由 式 (15.4) 定 义 。 式 (15.24) 表 明 , 让 实际 输出 误差 e(n) 通 过 一 个 转移 函数 为 
1- B(z) 的 滤波 器 就 可 以 得 到 方程 误差 e'(n)。 

在 神经 网 络 文献 中 ,方程 误差 法 称 为 教师 强制 法 (Williams & Zipser, 1989, 1995), ABB 
出 ,在 训练 阶段 期 望 响应 是 由 “教师 ”强加 的 监督 信号 。 故 就 图 15.3 中 情况 而 言 ,用 “教师 强 
制 " 这 一 术语 进行 描述 比 用 “方程 误差 * 稍 多 些 。 在 任何 情况 下 ,方程 误差 法 可 加 快 自 适应 滤波 
器 训练 速度 ,因为 用 式 (15.23) 和 式 (15.24) 来 计算 误差 信号 相当 于 很 设 滤 波 器 准确 地 完成 教 
师 强 制 的 学 习 任 务 。 然 而 ,基于 梯度 的 方程 误差 法 自 适 应 滤波 算法 实际 上 是 优化 一 个 不 同 于 
其 输出 误差 的 代价 函数 ,该 输出 误差 只 不 过 重申 了 e(n) RF etn) 这 一 事实 。 因 此 ,除非 
溃 差 信号 等 于 零 (而 这 时 自 适 应 将 是 多 余 的 ), 否 则 设计 OR 自 适 应 滤波 器 的 方程 误差 法 和 输 
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出 误 益 法 将 得 到 不 同 的 解 。 简 调 言 之 ,与 输出 误差 法 不 同 ,方程 误差 法 理解 起 来 有 -~ 定 难 度 ， 
尽管 该 方法 的 设计 准则 具有 二 次 特性 了 。 









未 知 线性 动态 系统 





15.3 HR Bi eR RAP REA AIRE GER: 
He Ath POR He EB AS A a A a SD 


15.3 HERRER 


使 用 IER 结构 的 自 适应 滤波 器 ( 子 带 滤波 和 域 变换 技术 已 在 第 7 章 讨论 过 ) 的 目的 是 为 了 
改进 基于 FIR 模型 的 标准 LMS 名 适应 滤波 器 的 性 能 。 为 此 ,Liavas 和 Regalia( 1998 ) 提 出 如 下 
实际 问题 ， 

与 FIR 自 适 应 滤波 器 相 比 ,在 解决 固 音 消除 问题 方面 ,TIR 自 适 应 滤波 器 是 香 呈 现 优 起 的 

建 模 能 力 ? 
利用 最 小 二 蒋 通 近 理论 ,Liavas 和 Regalia 利用 一 种 特殊 的 测试 方法 ,从 这 两 个 自 适 应 滤波 模型 
导出 先 验 的 性 能 水 平 作为 自由 参数 数目 的 函数 。 将 这 个 测试 方法 应 用 于 大 量 典 型 的 室内 被 测 
声音 脉冲 响应 ,研究 人 员 发 现 ,与 FIR 模型 相 比 ,IIR 模型 的 性 能 并 没有 明显 的 改善 。 其 原因 在 
于 回音 路 径 的 能 量 谱 中 存在 着 许多 陡峭 的 尖峰 。 





© Mullis 和 Roberts(1976) 的 论文 是 理解 片 程 误 着 法 可 参考 的 早期 关键 文献 。 这 篇 论文 证 明 丁 方程 误差 节 小 化 与 由 指 

定 涉 波 办 脉冲 响 误 主 要 数值 和 目 相 关 序列 设计 的 数字 证 波 器 之 问 存在 着 密切 联系 。 同 时 ,还 得 到 了 如 下 这 个 重要 
结论 , 即 如 果 输 入 信和 汪 utn}) 基 和 白 曲 洁 , 那 笃 从 式 (15,24) 可 以 看 出 , 当 用 与 天 (2) 业 似 的 方式 定义 十 (rz) 时 ,即使 误 
差 信 号 在 量 小 点 不 消失 ,分母 " 密 项 式 1 - 8(z) 也 是 稳定 的 。 设 有 这 一 稳定 特性 ,在 典型 的 才 师 强制 法 中 ,方程 误 
ZILT SA EER. 
Söderström 和 Stoica( 1981] 在 其 论文 中 进一步 证 明了 ,在 使 方程 误差 最小 化 的 过 程 中 , 非 自 输 人 信号 u(t} 会 得 到 不 
BERETA 1 - Bfz), 从 而 将 对 能 否 在 一 般 环 境 下 使 用 这 - 近 航 方法 产生 了 一 些 疑 问 。 经 过 对 这 个 问题 的 进 … 
步 研究 表明 { Regalia, 1994; Lopez Valare & Dasgupta, 1999) ,满足 Mullis-Roberss 稳定 性 的 条 性 可 以 推广 到 自 回 归 度 小 
于 或 等 于 由 + 工 的 输 人 信号 ,这 时 M 是 式 (15.1) 所 示 的 ARMA 机 型 中 滑动 平均 分 量 的 阶 数 { 注 意 握 噪声 相当 于 
Eh AEE). 
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Liavas 和 Regalia( 1998) 所 进行 的 研究 的 重要 性 在 于 : 


e 为 了 解决 回音 消除 问题 时 ,不管 使 用 何 种 模型 ,都 要 求 该 模型 有 许多 自由 参数 。 

e 实际 上 ,声波 传播 是 -种 分 布 式 的 物理 现象 ,这 就 解释 了 多 项 式 或 有 理 转 移 薄 数 为 什么 
对 于 这 个 场合 是 不 合适 的 。 

e 同音 消除 问题 给 我 们 一 个 实际 的 启示 :对 于 解决 重要 的 工程 实际 问题 ,利用 基于 有 限 线 
性 集 总 储 能 元 件 的 数 党 模型 往往 嘴 不 合适 的 - 


有 关 回 音 消 除 问 题 , 我 们 应 该 考虑 其 男 一 方面 :声波 传播 这 一 物理 现象 既 有 空间 维 , 又 有 时 间 
维 。 因 此 ,这 个 问题 的 有 效 解决 本 质 上 必须 是 空 -时 的 , 妈 空 间 和 时 间 同 时 考 虚 。 这 也 就 很 自 
然 地 涉及 空间 和 时 间 信 号 处 理 技术 的 结合 使 用 问题 。 


15.4 Laguerre 横向 滤波 器 


根据 刚刚 介绍 的 IR 自 适 应 让 流 髓 的 讨论 和 前 几 章 对 FIR 自 适 应 滤波 器 的 讨 沦 , 我 们 可 
以 对 长 脉冲 响应 的 要 求 做 如 下 评述 : 


e 使 用 HR 结构 为 构造 高 效 长 脉冲 响应 自 适 应 滤波 器 提供 基础 ,但 使 稳定 问题 变 得 更 复杂 。 
o 使 用 FIR 结 均 ( 即 横向 滤波 器 ) 容 易 解 决 稳定 问题 ,但 以 增加 计算 复杂 度 为 代价 ， 


从 座 上 分 析 不 难看 出 ,结合 FIR 和 IIR 结构 优点 的 混合 方法 ,为 解决 长 脉冲 响应 自 适应 渡 
波 器 问题 提供 了 一 个 折 中 方案 。 

构造 这 样 一 个 混合 结构 的 实际 方法 是 重新 考虑 构造 抽 头 延迟 线 存 依 器 的 方法 。 传 统 的 抽 
头 延 退 线 存储 器 用 单位 时 延 2 来 表征 , 它 实 际 上 对 应 于 一 个 稳定 系统 脉冲 响应 的 均匀 抽样 。 
因此 ,基于 传统 抽 头 延迟 线 存 储 器 的 横向 滤波 器 的 阶 数 很 高 ,如 果 系统 的 脉冲 响应 很 长 的 话 。 
我 们 可 通过 用 一 个 截断 的 正 交 序列 近似 该 脉冲 响应 来 改善 这 个 计算 问题 。 其 构造 通过 使 序列 
no 正 交 化 来 获得 (这 里 ,n 表示 离散 时 间 , 是 非 负 整数 ,el< 1)。 这 个 正 交 化 的 结果 得 到 
一 组 离散 序列 , 称 为 Laguerre 序列 "。 





O  Kautz( 1954) AH Laguene 方法 用 于 信号 处 理 及 与 此 相关 的 问题 。 他 是 用 一 个 裁 握 的 标准 正 变 画 数 序列 近似 一 个 
因果 .线性 .时 不 变 稳 定 系统 的 脉 囊 响应 。 而 后 ,Wienert 1956) 将 该 方法 用 于 预测 理论 。 
Lee(1960) 提 出 了 用 标准 正 交 浮 数 表示 的 相关 逆 数 和 功率 详 密 度 公式 。Lee 在 书 中 讨论 了 用 标准 正 交 化 序列 表示 连 
ERY HR SEA Tagueme pax , BY 

tem SMFi=0,1,2,.. 和 p>o 
Ap, :表示 连续 时 间 。 
Fejzo 和 Lev-Ari(1997) 研 究 了 用 与 梯度 白 适 应 格 型 (CGAL) 算 法 类 八 的 方法 设计 自 适应 Lagere 格 型 滤波 器 的 方案 。 
他 们 导出 的 算法 与 表 15.20 刀 所 示 的 算 话 在 形式 上 有 所 不 同 。 而 Merched 和 Sayed(2000, 2001) MAH T Et 
PHBE GEY Laguere-RLS 襄 波 器 这 一 更 为 困难 的 问题 。 
Davidson 和 Falconer(1991) 讨 论 了 Laguerre 本 数 自 适应 回音 消除 器 的 设计 方案 。Wahlheg(1995) 研 究 了 过 种 Laguerre 
模型 系统 识别 方案 ,并 将 它们 作为 FIR 和 无 约束 UR 模型 方案 之 间 药 一 个 折 中 方案 。 
deVries 和 Principe( 1992) 握 出 了 一 个 令 人 难以 理解 的 观点 , 即 每 个 部 件 建立 在 -个 单 极 IIR 鹿 波 器 基础 上 的 广义 抽 
头 时 延 组 存储器。 特别 地 ,他 们 证 明了 这 个 存储 结构 的 总 的 脉冲 响应 代表 一 个 离散 伽 马 截 积 画 数 ,并 因此 用 "做 马 
存 傅 器 "这 趟 术语 来 描述 广义 存储 赃 。 俩 马 函 数 一 个 族人 的 特性 是 ,与 传统 的 抽 头 时 下 线 相 比 , 它 适 过 拧 制 极点 的 
位 置 改 进 了 自身 的 记忆 深度 ,但 这 是 以 存储 器 分 辩 率 ({resolutom) 为 代价 的 。 记 忆 识 度 定 义 为 存储 结构 脉冲 痢 永 的 
- 阶 时 间 矩 存储器 分 状 些 定义 为 存储 结构 中 每 单位 时 间 内 的 抽 头 数 。 记 忆 深 度 和 存储 器 分 辩 率 的 滋 积 县 一 个 

等 于 存储 结构 的 阶 ( 即 , 节 数 ;的 常数 。 
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n 


Laguerre 序列 共有 简单 的 z 变换 形式 ,可 表示 为 (Broome，1965) 








a z! — at 
Be i = 0,1,2,... (15.25) 


它 可 由 图 15.4 的 Laguerre 抽 洋 延 述 线 存 储 紫 来 产 牛 ， 这 个 存储 融 结 构 在 它 的 前 端 包含 一 个 一 
阶 低 通 滤 波 髓 ,该 滤波 器 的 转移 畏 数 为 














(15,26) 
图 15.4 RHF Laguerre fH RETR eR aE 
其 后 紧 接 着 若干 相同 的 一 阶 全 通 滤 小 髓 ,其 转移 男 数 六 
Go ee T 对 于 al<1 (15.27) 
1 — ez 


办 此 ,Laguerre 函数 可 表示 为 
Liza = Lolz,a)(Liz,a)) i=0,1,2,... (15.28) 
传统 的 抽 头 延迟 线 存储 器 是 图 15.4 的 Laguerre 抽 头 延迟 线 存 储 事 的 一 个 等 例 。 特 别 地 ， 
“a 取 为 0 时 ,有 
Lolz,0) = 1 (15.29) 
和 
L(z,0)= 27 对 于 i 宕 1 (15.30) 
Laguerre 序列 l (n,a) (BP L (z, a JHJE z 变换 ] 在 如 下 意义 上 构成 了 一 个 完备 的 正 交 集 : 
lol <1 时 , 它 有 如 下 特性 


00 人 对 于 六 = 
2o i ha k 对 于 六; 


由 于 Laguerre 序列 的 完备 狂 , 任 何 物理 上 可 实现 的 实 序列 ( 即 任 何 脉 冲 响应 )h(n) 可 取 非 截断 
形式 


(15.31) 


oo 


h(n) = $, wla}i(n, a) (15.32) 


其 中 ,展开 式 的 系数 定义 为 


w{a) = Atm \i.Um, a) (15,33) 


mao 


参数 a 对 所 有 isz0, 控 制 Laguere 函数 上 (z ,ay 的 极点 位 置 ,并 且 可 根据 eSilva( 1995) 描 述 的 某 
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种 准则 以 离线 的 形式 进行 最 优化 。 
在 图 15.4 的 Laguerre 54 FN DEER FF AEE H , Laguerre 函数 正 交 序列 在 i= M 处 被 截断 。 使 
用 这 样 一 个 存储 结构 作为 某 一 横向 滤波 器 的 " 骨 十 "部 分 , 则 可 得 天 图 15.5 所 示 的 Laguerre 横 
向 滤波 器 。 它 有 如 下 特性 : 
© | aguere 模 向 滤波 髓 是 一 个 受 约束 的 IR 补 波 器 ,因为 其 转移 消 数 的 所 有 极点 者 固定 在 
z 平面 的 同一 个 位 置 , 即 z= a 处 。 由 于 1al< 1, 这 一 约束 保证 了 Laguerre 横向 滤波 器 
是 稳定 的 ,但 也 使 它 的 灵活 性 不 如 IR 滤波 器 。 
@ 按照 式 (15.29) 和 式 (15,30) ,传统 横 问 滤波 器 是 Laguerre 横向 滤波 器 a =0 时 的 一 个 特例 。 
o 对 z 变换 为 U(z) 去 1 的 任 一 输入 信和 号 ,用 z 变 措 U(z,a), U,(z,0),..., 袁 示 的 抽 头 输 
ATEX 


Laguerre 横向 滤波 器 的 实际 价值 是 ,对 于 一 个 给 定 的 阶 数 村, 它 能 够 比 同样 性 能 的 传统 
FIR 滤波 器 用 更 少 的 系数 获得 指定 的 建 模 误差 界 (Wahlberg,1991)。 计 算 复 厅 人 性 的 降低 归 因 于 
快速 收 合 速率 ,出 此 式 (15.32) 中 Laguerre 展开 式 的 系数 w,(a) 随 着 i 的 增 大 迅速 衰减 ,从 而 证 
ETER i = 上 处 截断 疗 列 (如 图 15.5 所 示 ) 蚌 正确 的 。 然 而 ,对 于 规定 的 建 模 误差 ， 
Laguerre 横向 滤波 上 器 比 无 约束 IR 滤波 器 需要 更 多 的 系数 ,因为 它 对 其 极点 位 置 强加 了 约束 。 





图 15.5 Lagmere 横向 滤波 器 


15.5 自 适 应 Laguerre 格 型 滤波 器 


尽管 Laguerre 滤波 器 计算 方面 的 要 求 多 于 无 约束 IR 滤波 吾 , 但 是 它 却 更 适合 自 适 应 滤波 
应 用 。 我 们 之 所 以 这 人 么 说 ,是 因为 就 数学 上 处 理 的 难 易 而 言 , 自 适 应 Laguerre 滤波 再 工 作 时 所 
涉及 的 自 适 应 过 程 类 似 于 FIR 自 适 应 滤波 器。 


15.5.1 平稳 数据 下 的 Laguerre 格 型 滤波 器 


具体 来 说 ,考虑 图 15.6 所 示 的 Laguerre 格 型 滤波 髓 , 它 建立 在 式 (15.28) 定 义 的 Laguerre 羡 
数 级 联 表示 的 基础 上 。 图 15.6 的 格 型 结构 适合 于 建 模 低 通 或 带 通 敲 散 时 间 系 统 ,其 转移 泡 数 
在 高 频 处 有 滚 降 特 性 。 与 图 3.12 的 传统 格 型 结构 ( 它 导 自 平稳 过 程 线性 预测 理论 ) 相 比 , 我 们 
看 出 它 对 图 3.12 做 出 如 下 变化 (Fejzo & Lev-Ari, 1997): 
se 前 向 和 后 向 预测 误差 的 初始 值 (A Bo(n), 用 响应 输入 信和 号 en) PAE 
器 Lo(z,a) 的 公共 输出 代替 。 
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输入 ful) 

aS 








fi Fuerte} 





图 15.6 用 于 联 台 过 程 估计 的 Laguerre 模型 滤波 器 
图 15.6 所 示 的 Lagere 格 型 滤波 器 只 能 在 平稳 条 件 下 使 用 。 
图 15.7 给 出 Laguerre 格 型 滤波 器 的 基本 节 , 该 基本 节 用 单个 反射 系数 x, (mm = 1,2,...,M) 
表征 。 滤 波 后 向 颅 测 误 善 总 (Cn 与 该 基本 节 输 人 端的 后 向 预测 误差 bni Cn) 之 癌 的 关系 为 
bma) = Liz oa)[b im] (15.34) 
AP Lz, a) 5b,_1(n) 算 子 。 将 式 (15.7) 的 全 通 算 子 上 (zs,a) 代 人 式 (15.34) ,并 经 整理 得 


in) = baln) + of By a(t — 1) — bml) 
tn ir) 






(15.35) 
Jan) 
Pailin) Bairi) 
图 15.7 Laguerre 格 型 滤波 器 基本 节 
根据 第 3.8 节 介 绍 的 理论 ,对 于 实数 据 ,图 15.7 的 Lagere 格 型 基本 节 的 输 人 输出 特性 之 间 的 
关系 表示 为 
faln) = faila) + Kim Bnet) (15.36) 
和 
Blt) = Bele) + en 大 -in) (15.37) 
式 中 ba (OERS 34) Le, 是 该 基本 节 的 反射 系数 ,而 h(n) 还 可 表示 为 
An) = bain) = Lolz, a)[u(n)} 


注意 到 低 通 算 子 mm(z,e) 可 用 式 (15.26) 表 示 , 于 是 上 式 可 进步 写 为 


(15.38) 
fol) = b(n) = aboln — 1) + 


1 ~ a®u(n) (15.39) 
至 此 ,完成 了 图 15.6 中 Lapar 格 型 滤波 器 的 数学 描述 。 注 意 , 当 ua =0 时 ,图 15.6 的 Laguerre 
格 型 滤波 器 变 为 图 3.12 的 传统 格 型 滤波 器 ，。 
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15.5.2 梯度 自 适 应 Laguerre 格 型 算法 


图 15.6 的 Laguerre 格 型 滤波 器 很 自然 地 适合 于 自 适 应 。 特 别 地 ,根据 第 12.1 节 介 绍 的 传 
统 自 适 应 梯度 格 型 (GAL) 算 法 的 推导 方法 ,我 们 可 从 待 最 小 化 的 实数 据 代 价 函 数 
Ja = Elfz(n) 十 到 (加 (15.40) 


出 发 ,导出 表 15.2 总 结 的 梯度 自 适 应 Laguerre #849 (CALL, gradient-adaptive Laguerre lattice ) 
法 。 表 中 包含 多 级 格 型 预测 器 和 期 望 响 庶 估计 器 . 它 构 成 了 图 15.6 中 基于 Laguerre 的 联合 过 
程 佑 计 器 的 自 适 应 实现 。 取 ax =0, ATKP A, fn)= (zz-1), 即 得 表 12.1 的 传统 GAL 
算法 。 


15.2 实数 据 联合 过 程 估 计 的 梯度 让 适应 Laguerre 格 型 算法 小 结 


Bi. M = 最 终 预 测 防 数 
有 = 位 于 区 间 0<8<1 内 的 常数 
ped 
4 = 小 的 正常 数 
a= 另 一 小 的 正常 数 
多 级 由 型 顶 测 髓 : 
FARE m=1,2,..., M.F 
fa (0) = bn 
&, (0) = 
(0) =0 
对 于 时 间 步 n=1,2,...， > 
fo(n} = baln) = aby(n- 1) +v l-a ula) 
对 于 预测 阶 数 m=1,2,... M AREP = 1,2,... ,计算 


ba- (nd = by (n~V)+a(b, (2-1) - hain) 
fakin) = fae (Cn) + eq Cn - Linita) 
Bm) = man AES 
En) = BH n+ BFR C2) + BE) 
inln) = han = 1) — pA a- Cn) tn) + bai Cnatan) 
HEH: 
StF RM m0 RA n? 
ep(n) = din} 
lba)? =e 
对 于 预测 阶 数 m=01.... MS 
fh, (0) =0 
at om -0,1,..., M Be =0,1,..., 计算 
tm (71) = eniin) — hy (2) by Cn) 
bata) l? = |] be (nd l? + bn tn) 


fin (9+ 1) = hyn) + PE ab 8) emt) 


SS 
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15.5.3 使 用 精确 最 小 二 乘 估计 的 自 适 应 Laguerre 格 型 滤波 器 


根据 第 了 二 意 介 绍 的 阶 递 归 自 适应 滤波 器 ,我 们 知道 递归 最 小 二 莱 格 型 {LSL) 滤 波 器 具有 
如 下 特性 ; 

eae BATHE RLS 算法 固有 的 这 两 个 特性 使 得 LSL 潍 波 器 优 于 GAL 算法 ， 

@ 滤波 器 的 阶 数 的 线 件 计算 效率 ,这 -特性 可 通过 利用 有 瞬 时 输入 数据 的 时 称 特 性 获得 。 

遗址 的 是 ,递归 LSL 理论 不 可 能 直接 庶 用 于 Laguerre 白 适 应 滤波 器 ,因为 这 些 滤波 器 中 相 
继 的 输入 向 量 ! 回 归 器 ) 不 满足 时 移 特 人 性。 然而, Merched 和 Sayed(2000，2001) 巧 妙 地 利用 以 下 
三 个 步骤 克服 了 上述 分 析 困 难 ; 

1. 在 不 假设 输入 向 量 任何 基本 结构 的 条件 下 .重新 推导 阶 风 新 和 时 间 更 新 关系 式 ， 

2. 导出 阶 递归 RLS 滤波 带 , 它 可 用 于 输入 向 量 不 具备 时 和 攀 特 性 的 情况 。 

3. 通过 显 式 求解 正规 的 最 小 羔 问 题 ,导出 联合 过 程 竺 计 的 阶 递 归 Laguerre 格 型 滤波 

tho 

最 后 结果 是 新 的 一 族 联合 过 程 估计 的 阶 递归 RLS-Laguerre 滤波 器 , 它 基 本 上 类 似 于 标准 
的 最 小 二 飞 格 型 滤波 器。 第 ]2 章 介 绍 的 标准 最 小 二 乘 格 型 理论 中 的 时 间 葛 新 和 阶 和 更 新 关系 
式 可 推广 应 用 于 Lagnere 滤波 器 ,除了 阶 更 新 表达 式 中 涉及 一 个 用 如 (aa) 的 新 误差 (位 于 滤波 
HE m 级) 外。 新 的 RLS-Laguerre 格 型 滤波 器 有 别 于 标准 最 小 二 羔 格 型 滤波 器 的 特点 如 下 ， 


需要 传播 三 种 误差 , 即 前 向 预测 误 益 六 (mr) ,后 向 预测 误差 5 (nn) 和 新 误差 b, Ca) ,而 
不 是 f, (a) Al ba OARE., 

. 需要 用 四 个 反射 系数 ,而 不 是 两 个 及 射 系数 

这 个 新 的 (有 或 没有 误差 反馈 )RLS-Laguere 格 型 滤波 器 与 表 15.2 总 结 的 自 适 应 梯度 
Laguerre 格 型 滤波 器 之 问 的 差别 如 下 ， 


# 不 要 求 假设 基本 过 程 是 平稳 的 , 它 是 导出 CALL 滤波 的 基础 。 
e 更 复杂 的 结构 ,由 新 的 误差 ba (4) 和 附加 的 两 个 反射 系数 引起 的 。 


这 个 新 的 RLS-Lagnere 格 型 滤波 器 族 也 包含 一 个 基于 阵列 的 格 型 结构 ,涉及 使 用 本 旋转 
(Merched & Sayed，2001)。 如 所 预期 的 ,RLS-Lagnerre 格 型 滤波 器 这 后 一 种 实现 ,对 因 使 用 有 限 
精度 运算 引起 的 数值 误差 的 兽 棒 人 竹 最 强 。 


15.6 本 章 小 结 


在 本 章 ,我 们 讨论 了 使 用 无 限 脉 冲 响应 (IR) 滤 波 器 作为 自 适应 滤波 凯 的 情况 。 讨 论 中 质 
包含 的 内 容 如 下 : 

e 输出 误差 法 和 方程 误差 法 为 设计 零点 和 极点 完全 可 调 的 IR 自 适应 滤波 器 提供 了 两 种 

不 同 的 方法 。 输 出 误差 法 遵照 传统 的 均 方 误差 最 小 化 方法 。 而 方程 误差 法 使 用 了 一 个 

不 同 于 实际 工作 条 件 下 使 用 的 训练 方法 。 其 目的 是 为 了 产生 一 个 二 次 代价 孙 数 ,从 而 

克服 在 方程 误差 法 中 可 能 发 生 的 局 部 最 小 问题 。 尽 管 新 的 代价 函数 现在 具有 二 次 特 











540 自 适应 滤波 露 原理 








性 , 但 方程 误 闫 法 的 基础 理论 是 难以 理解 的 ,此 外 ,除非 采取 适当 的 预防 措施 ,否则 用 
输出 误差 法 或 方程 误 美 法 设计 的 IR 自 适 应 滤波 器 是 椒 稳定 的 。 

o 自 适应 Laguerre 格 型 滤波 器 遂 过 使 用 E RAR IR 滤波 器 来 解决 稳定 性 问题 。 当 平 
稳 输 入 时 ,图 15.6 所 示 的 阶 弟 归 { 即 格 型 ) 结 构 的 使 用 ,通过 Laguerre 孙 数 作为 一 个 低 通 
滤波 器 和 和 截断 的 大 其 相同 的 全 道 滤波 角 的 级 联 表 示 来 证 明 其 有 有效 性 。 这 样 的 一 种 结构 
可 使 用 随机 梯度 方法 以 类 似 于 梯度 和 白 适 应 格 型 算法 (GAL) 的 方式 来 实现 。 然 而 ,对 于 
非 平稳 输 人 , 自 适应 Laguerre 滤波 器 的 精确 最 小 一 乘 格 型 的 实 现 是 很 图 难 的 ,这 是 因为 
输 人 向 量 不 满足 时 移 特 性 , 它 使 得 直接 应 用 第 12 章 的 精确 最 小 二 乘 属 型 滤波 器 理论 无 
效 。 不 过 ,正如 第 15.5 节 末 尾 所 述 ,我 们 可 以 在 不 对 回归 向 景 基本 结构 做 任何 假设 的 
条 件 下 ,重新 推导 阶 更 新 和 时 间 更 新 关系 式 , 以 解决 这 个 问题 。 


15.7 习题 


1. 


图 15.3 所 示 的 方程 误差 法 框图 中 含有 一 个 转移 冰 数 为 (1 - 8(z)) 的 部 件 , 它 用 于 计算 实 
际 输出 信号 y(n)。 说 明 包 含 这 一 部 件 的 理由 。 


. 使 用 式 (15.18) 和 和 式 (15.19) 这 两 个 近似 表达 式 可 以 减少 表 15.1 所 列 的 输出 误差 自 适 应 滤 


波 算法 的 计算 负担 。 讨 论 使 用 这 两 个 近似 表达 式 的 条 件 。 


. 为 了 缓解 自 适 应 IIR 滤波 器 可 能 出 现 的 系统 不 稳定 问题 ,要 在 自 适应 R 滤波 算法 中 包含 


一 些 适当 的 预防 措施 。 讨 论 如 何 订 出 这 些 稳 定 措施 。 


. 表示 图 15.5 所 示 的 自 适 应 Laguere 横向 滤波 器 的 LMS 算法 。 
. 对 于 平稳 数据 ,图 15.5 的 Laguerre 横向 滤波 器 的 抽 头 输入 满足 移 不 变 特性 。 令 Cn) 表 示 第 


j 个 抽 头 输入 ,证 明 对 于 实数 据 , 有 

Eleti] = 五 [二 -ea 
AF E 表示 期 望 算 子 。 
oy 


~ 


E(n) = [éo(n), én), El] 
RF M 是 Laguerre 横向 滤波 器 的 长 度 。 当 滤波 器 处 理 平稳 数据 时 ,利用 习题 5 中 讨论 的 移 
不 变 特性 证 明 相关 惩 阵 
R; = Elé(n}€"(n)] 
是 托 伯 利兹 和 矩阵。 


, 表 15.3 介 绍 了 一 个 修正 型 自 适 应 梯度 Laguerre 格 型 算法 如 { Fejzo & Lev-Ari，1997) 所 述 。 从 


实数 据 代价 函数 出 发 , 即 

Jn = 三 + baln) 
导出 表 中 所 列 的 算法 。 如 前 ,六 (na) 和 6, (2) RA m 阶 滤波 器 前 癌 和 后 向 预测 误差 。 
关于 这 个 表 , 注 意 如 下 两 点 : 


(D) 参数 a 由 Laguerre HRR E 
GD 数学 期 望 Efn bna a) 1, ELS hi Cn) + 021 Cn) Ele, (0) 8, Ce) A 
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a 


E| fy-(A)b n(n) = a lf ED) 


tt 


E| n (a) + b2 1(n)| = yet 7a + b2._,(i)) 
Elen(#)b,(n)] = E A ena) 


APA HO<A =! 范围 内 的 指数 加 权 因 子 。 
试问 ,哪些 特性 表征 了 表 15.2 的 GALL 算法 与 表 15.1 所 总 结 的 相应 算法 的 区 别 ? 


#15.3 修正 型 自 适 应 梯度 Laguerre 格 型 算法 





对 下 = 属 置 

foln) = biln} =aboln-1)+ y 1- at alan) 

Doin) = ADe( 2-1) + biin) 
对 m=1,2,.... M R 

bain) = banitn reatbs )€a-W baiia) 
Reg fe] AT 

Dy (a) = ADmin I) tn + ya) 

A, fal =AA,(n-1)42f,-)Cn}b,_-1(n} 
A, (4) 


Kain) = 一 再 Ua 


阶 更 新 : 
faln) = nr nn) 
bala) = barin) Enkin fmn) 
联合 部 分 ; 
Hml, oM R 
ein) = din) 
时 间 更 新 : 
Nei (a) = AN y(n -1) + (nb, (2) 


foi Gn) = ee 


阶 更 新 :; 
Emsi (it) = enhn) hnil n)dan) 


Bloa ERER 


FIRAR ( deconvolution) t- - #} AE DR R PEAT TE ABER RIAA SAA, RPM 
Ht FER REE ,输出 情 寻 和 系统 均 已 知 ,而 要 求 是 重 构 所 需要 的 答 和 人 信和 妨 。 然 而 FEARS 
FR (blind deconyolution)[ 更 确切 地 说 是 无 监督 反 卷 积 (unsupervised deconvolution) | 中 ,仅仅 知道 
输出 信号 (系统 和 输入 信号 均 未 知 ) SOR ALS MARES, BR , 肯 反 卷 积 是 一 种 比 
普通 反 卷 积 更 难 的 信号 处 理 任务 。 

ATS RRR MRAM ARMA AR RCM ZR iE A 
手 开始 我 们 的 讨论 。 


16.1 ERER EAE 


考虑 输入 为 x(n — ARRERA RES, GOP 16.1 所 示 。 假 设 输 人 数据 (承载 信 
息 ) 序 列 由 独立 同 分 布 (i.i.d. ,independently and identically distributed) 的 符号 组 成 。 问 题 就 是 在 
仅 知 输 和 概率 分 布 昌 给 定 系 统 输 出 观测 序列 u(n) 的 条 件 下 ,恢复 sin), BHR RL TER 
GL, 

WRAL BMY DRE RRMA RAS A 2 平面 单位 圆 内 ,那么 
MUS BER MAM RAL ee. I ,我 们 可 将 输 人 序列 xfm) 看 做 系统 输出 
uln) 的 "新 息 ”, 而 逆 系 统 史 -! 刚 好 是 一 个 白化 滤波 器 ;利用 它 解 决 了 官 反 卷 积 问题 。 这 种 方法 蚌 
根据 第 3 章 所 述 的 线性 预测 理论 导出 的 。 


不 可 潮 观测 的 
数据 序列 线性 时 教 据 序 列 
xn) AERIS uin) 


图 16.1 衣 反 卷 积 示意 图 


然而 在 许多 实际 情况 下 , 并 不 是 最 小 相位 系统 。 若 系统 转移 函数 具有 z 平面 单位 圆 外 
零点 ,我 们 就 说 该 系统 是 一 个 非 最 小 相位 的 。 而 且 , 要 使 系统 具有 指数 稳定 性 , 它 的 极点 必须 
都 在 单位 圆 内 。 电 话 信道 和 无 线 训 落 信道 就 是 非 最 小 相位 系统 的 两 个 实例 。 此 时 ,要 在 给 定 
信道 输出 的 条 件 下 ,恢复 输 和 人 序列 x(n) 是 相当 困难 的 。 

通常 ,在 数字 通信 中 使 用 的 自 适 应 均衡 器 要 有 一 个 初始 训练 阶段 ;此 时 ,发送 一 个 已 知 的 
数据 序列 。 在 接收 端 产生 一 个 与 发 送 端 完全 同步 的 数据 序列 ,以 此 作为 均衡 器 的 期 望 响应 ,从 
而 有 可 能 根据 均衡 器 设计 所 采用 的 自得 应 滤波 算法 调整 均衡 器 系数 。 当 训练 结束 后 ,均衡 器 
就 切换 到 面向 判决 的 模式 (decision-directed mode) ,开始 正常 的 数据 传输 。 在 第 5 章 中 ,我 们 曾 
经 讨论 过 自 适 应 滤波 器 的 这 种 工作 模式 。 然 而 ,在 某 些 实际 情 视 下 ,我们 十 分 希望 接收 机 无 需 
接 人 期 涓 响 应 ,就 能 获得 完全 的 自 适应 。 例 如 ,在 涉及 一 个 控制 单元 连接 到 多 个 数据 终端 设备 
(DTE) 的 多 点 数据 网 络 中 ,控制 单元 与 DE 之 间 是 一 个 “ 主 . 从 ”关系 ,因为 内 有 当 DTE 的 调制 
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解 调 器 被 控制 单元 的 调制 解 调 器 询 癌 时 , 放 人 允 许 DTE 发 送 数 据 ， 这 类 网 络 特有 的 一 个 问题 
是 ,要 对 无 法 识别 数据 和 询问 信息 的 DTE 中 接收 机 进行 训练 的 问题 ,这 基因 为 信道 特性 的 总 
剧变 化 ,或 者 因为 菜 个 接收 机 在 网 络 初始 同步 期 间 未 楼 通电 涉 所 引起 的 。 显 然 ,在 -一 个 大型 网 
络 或 负载 很 重 的 网 络 中 ,如 果 将 某 种 形式 的 育 均 衡 柑 入 接收 机 设计 , 则 可 提 商 数据 竺 叶 量 , 减 
经 监控 网 络 负 担 (Godard, 1980)。 

男 一 类 需要 讶 均衡 的 通信 系统 是 末 用 数字 技术 的 无 线 通 信 系统。 特别 地 ,在 称 动 通信 信 
道中 ,由 于 以 下 两 个 原因 ,不 能 使 用 长 持续 时 间 的 训练 序列 ， 

o 通常 ,在 系统 的 接收 端 通过 再 现 已 知 的 发 送 序 列 来 训练 均衡 能 时 , 志 需 系统 费用 过 高 。 

© 移动 信道 不 可 避免 地 存在 多 入 衰落 ,因此 使 得 系统 中 线路 中 岂 时 很 难 在 信道 上 确立 数 

据 传 输 。 裹 落 尼 由 于 发 送信 和 号 沿 儿 条 长 度 不 同 的 路 径 传 播 造成 的 。 

让 反射 地 震 学 中 ,传统 的 方法 是 通过 线性 预测 反 卷 积 从 地 震 图 中 恋 除 信 源 波形 {这 种 方法 

在 第 5 章 中 讨论 过 )。 预 测 反 卷 各 法 导 目 四 个 基本 假 变 (Gray，1979) : 


1. 反射 系数 序列 是 白色 的 。 然 而 ,反射 地 震 图 经 常 违背 这 个 假设 ,因为 来 自 不 同 过 程 的 
反射 结果 加 到 声波 阻抗 上 。 在 许多 帆 沉积 物 形成 的 金地 中 ,有 些 薄 层 会 使 反射 序列 在 
符号 方面 彼此 相关 。 

2. 信 源 信号 是 最 小 相位 的 ,因为 它 的 所 有 零点 都 在 z 平面 的 单位 圆 内 ;这 里 假设 信 源 信 
号 是 离散 时 间 信和 号。 这 一 假设 对 几 种 爆炸 性 信 源 (例如 炸药 ) 来 说 是 合理 的 ,但 对 诸如 
海洋 探测 中 使 用 的 那些 更 加 复杂 的 信 源 来 说 ,这 只 是 一 个 近似 假设 。 

. 反射 系数 序列 和 配 声 是 统计 独立 的 ,而 且 时 间 上 是 平 葵 的 。 然 而 ,常常 违背 平稳 假设 ， 
因为 地 震波 是 呈 球 形 辐射 和 衰减 的 。 为 了 对 付 数 据 的 非 平 稳 人 性 ,可 采用 自 适 应 盲 反 卷 
积 。 但 是 ,这 一 方法 常常 会 破坏 人 们 感 兴趣 的 基本 事件 。 

,最 小 均 方 准则 用 来 求解 线 人 性 预测 问题 。 然 而 , 仅 当 预 涯 误差 (反射 系数 序列 和 噪声 ) 服 
从 高 斯 分 布 时 ,该 准则 才 适 合 。 但 是 ,对 反射 系数 进行 的 统计 测试 表明 它们 的 峰 度 远 
高 于 由 高 斯 分 布 得 到 的 峰 度 。 一 个 分 布 沙 数 的 斜 度 (skewness) 和 上 峰 度 (kurtosis) 分 别 定 
义 为 




















haa 


心 


Y= (16.1) 


和 
w= 473 (16.2) 


EP p 是 分 布 的 方差 ,ww 和 u 分 别 是 3 阶 和 4 阶 中 心 矩 。 对 于 均值 为 零 的 实 值 高 斯 
分 布 ,7 =0,7,=3, 
值得 注意 的 是 ,预测 反 卷 积 法 忽略 了 反射 地 震 图 中 所 包含 的 有 用 相位 信息 。 使 用 育 反 卷 
积 可 以 克服 这 一 局 限 {Godfrey & Rocca, 1981). 
数字 通信 中 的 讶 均衡 和 反射 地 震 学 中 的 盲 反 卷 积 是 一 种 特殊 的 自 适应 逆 渡 波 回 题 。 仅 需 
提供 接收 信号 和 以 概 府 信 源 模型 形式 表示 的 茶 些 附 加 信息 , 它 就 能 以 非 鉴 骨 方式 工作 。 在 均 
衡 数字 通信 和 信道 时 , 信 源 模型 描述 的 是 所 发 送 数 据 序列 的 统计 特性 ;而 在 地 震 盲 反 卷 积 情况 
下 ,信和 源 模 型 描述 的 是 地 球 反 射 系数 的 统计 特性 。 


544 自 适 应 滤波 器 原理 





16.1.1 育肥 卷 积 的 方法 


TE ,我 们 假设 感 兴趣 的 信道 建 模 为 某 一 FIR 泪 流 器 ,而 要 求 是 均衡 该 信道 或 估计 脉冲 响 
应 。 取 决 于 用 线性 或 非 线 人 性 方法 完成 日 适应 ,可 将 育 反 卷 积 算法 分 为 两 大 类 ， 


1. 线性 育 反 卷 积 泪 波 器 ”首先 ,这 类 下 反 卷 积 滤 波 器 以 整数 倍 符 导 速率 对 接收 信号 进行 
过 抽样 eS eA aS. 而 后 的 任务 就 是 从 多 信道 信号 中 提取 
附加 信息 以 弥补 无 法 利用 信道 输入 或 期 望 响 应 的 不 足 。 完 成 这 个 任务 的 一 个 方法 中 
是 ,通过 采用 子 空间 分 解 过 程 开 发 利用 循环 平稳 形式 的 二 阶 统计 量 {(S0S, Second-order 
atatstics) (Tong et al., 1991). 

23K DRARBRE RHR BS ISM RAK, mMk ERRAR EA 
阶 统计 量 。 利 用 接收 情 号 高 阶 统 计量 (4HOS higher order statistics} 的 方法 有 以 下 两 种 :; 


$ 在 显 式 意 义 上 , 它 以 使 用 高 阶 累积 量 或 其 称 为 多 谱 的 离散 傅 里 叶 变 换 ( 兄 第 1 章 ) 作 
为 例证 。 能 保护 相位 信息 的 多 谱 特 性 ,使 得 显 式 的 基于 HOS 的 算法 很 适合 于 盲 反 卷 
积 (Pan & Nikias, 1988; Hatzinakos & Nikias ,1989 ,1991)。 

在 隐 式 意义 上 ,这 种 方法 不 直接 利用 接收 信 生 的 高 阶 统计 量 。 基 于 隆 式 HOS 的 算法 
和 包含 Bussgang 算法 。 之 所 以 称 为 Bussgang WE, AAS RRA RAR 
卷 积 的 信号 呈现 Bussgang 统计 特性 {Bellini, 1986，1988，1994)。 


基于 隐 式 HOS 的 盲 反 卷 积 算法 的 实现 相对 简单 昌 一 般 性 能 良好 ,这 已 由 它 在 数字 通信 系 
统 中 的 实际 使 用 所 证 明 。 然 而 ,这 类 算法 有 两 个 基本 局 限 :其 一 是 有 可 能 收敛 到 局 部 最 小 点 ; 
其 二 是 对 定时 拌 动 很 语感 。 相 反 , 显 式 HOS 算法 通过 避免 对 代价 函数 的 最 小 化 ,避免 了 出 现 
局 部 最 小 问题 ;遗憾 的 是 ,其 计算 过 程 要 复杂 得 多 。 也 许 , 这 两 类 算法 的 一 个 最 严重 的 局 限 性 
是 收敛 速率 慢 。 只 要 注意 到 求 高 阶 统 计量 的 时 间 平 均 佑 计 所 需 的 样本 数 远 多 于 二 阶 统计 晤 的 
时 间 平 均 估 计 所 需 的 样本 数 ,就 不 难 发 现 这 两 类 算法 收敛 速率 慢 的 原因 。 按 照 Brillinger 
(1975) 的 理论 ,估计 某 一 随机 过 程 n 阶 统计 量 所 需要 的 样本 数 ,受到 合计 偏差 和 方差 指定 值 的 
约束 , 它 几 乎 随 阶 数 n 呈 指 数 增长 。 与 依赖 于 训练 序列 工作 的 传统 自 适应 滤波 算法 租 比 , 基 
于 HOS 的 言 反 卷 积 算法 收 敏 速率 慢 就 不 足 为 奇 了 。 于 是 ,传统 自 适 应 请 波 算 法 需要 几 百 次 选 


中 下 面 ,将 实现 育 反 眷 积 的 其 他 方法 总 结 如 下 : 

。 最 小 噪声 子 空间 (Hua et al. ,19971。 这 箱 文 章 引 人 了 最 小 蛛 声 子 空间 万 念 , 它 根据 一 组 树 型 信道 对 进行 计算 。 
这 种 具有 最 小 几 余 诬 的 树 利用 了 子 信道 间 的 分 集 。 据 报道 ,这 一 新 方法 的 计算 效率 高 于 Molines 等 (1995) 提 出 
的 于 空间 法 。 

- SPERE (Sock, 1964, 1965; Papadias & Slock, 1999; Mannerkoski & Taylor，1999)。 与 第 16.3 ETER] A H 
识 子 空间 分 解法 不 同 , 这 一 预测 法 的 目的 是 彰 询 衡 。Mannerkoski 和 Taylor 描述 的 方法 是 以 使 用 最 小 二 某 裕 再 预 
测 为 基础 ( 即 阶 递 归 自 适应 滤波 ) 的 ,本 书 曾 在 第 纪 章 讨论 过 其 理论 。 

© BBR (Cawn dQ,，1 的 7)。 在 这 一 方法 中 ,考虑 了 几 种 裕 被 器 。 在 自 适应 过 程 中 ,每 个 洪波 器 的 答 出 
作为 其 他 滤波 髓 自 适 应 过 程 中 的 训 绒 信号 。 相 应 地 ,设计 一 个 多 维 均 方 澡 差 形式 的 代价 函数 ,其 最 小 化 似乎 提 
供 了 均 本 的 充 双 条 件 。 这 个 过 程 的 基本 理论 与 组 性 预测 有 关 。 

+ 线性 神经 网 络 {Fang & CDhow，1999)。 这 个 方法 使 用 由 两 个 线性 神经 层级 联 的 网 绪 , 该 网 络 跟 随 一 个 过 抽样 器 。 
网 络 的 第 一 层 对 抽样 半 的 多 信道 输出 进行 白化 处 理 。 第 二 屋 ( 往 出 层 } 设 计 用 来 对 传送 的 数据 符号 估 值 进行 优 
化 。 用 来 计算 这 商 层 可 凋 权 慎 的 随机 学 习 算法 是 被 此 独立 的 。 

以 上 这 些 方 法 都 有 一 个 共同 的 特性 :它们 都 引用 过 抽样 , 邵 图 16. 2 的 讨 抽样 信 道 模型 所 示 。 
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代 就 能 收敛 ,而 基于 HOS WA RAS UL GR aa, AE A b 
ERER), RARER EER, AWD EAR EFRA T ,例如 移动 
数字 通信 ,算法 可 能 会 设 有 足够 的 时 间 达 到 稳定 状态 ,从 而 可 能 无 法 跟踪 环境 的 统计 变化 。 因 
此 ,这 类 育 反 卷 积 算法 不 能 用 于 系统 当 求 快速 捕 闭 的 应 用 场合 。 
后 面 ,只 限于 讨论 如 下 两 类 盲 反 卷 积 问题 ， 
© 育 信 道 辨 襄 用 基于 308 的 再 分 解法 , 它 包 括 第 16.2 节 和 第 16.3 他。 这 种 面向 块 的 方法 
计算 量 很 大 。 
© 让 信道 均衡 用 基于 隐 式 HOS 的 Bussgang 算法 族 , 它 包括 第 16.4 节 到 第 16.6 节 。 这 个 
面向 递归 的 方法 实现 简单 EU a a RA 


在 不 严格 的 意义 上 ,可 将 这 两 种 算法 看 做 互补 的 。 在 第 16.7 节 , 将 把 它们 联系 在 一 起 。 
16.2 利用 循环 平稳 统计 量 的 信道 辨识 


在 基于 HOS 的 反 卷 积 算法 中 ,用 信道 输出 的 高 阶 统 计 芷 提取 非 最 小 相位 信道 的 未 知 相位 
响应 信息 。 此 时 ,输出 信号 的 抽样 速率 等 于 波 特 率 , 即 符 号 速率 。 此 外 ,我 们 也 亲 以 利用 信道 
的 男 一 个 固有 特性 , 即 循环 平稳 性 来 提取 相位 信息 。 为 了 说 明 后 一 个 特性 , 先 将 数字 道 信 系统 
的 接收 信和 号 表示 为 更 一 盘 的 基带 形式 , 即 


oe 


u(t) = 之 xh(t — KT) + v(t} (16.3) 


AP x, 表示 每 隔 了 秒 ( 即 波 特 率 为 17) 发 送 一 个 符号 ,t 表示 连续 时 间 ,h(4) 是 信道 总 的 脉冲 
响应 (包括 发 送 和 接收 滤波 器 ),v (1) 是 信道 噶 声 (不 要 把 这 里 使 用 的 信道 只 声 x 与 后 面 讨论 
Bussgang 算 法 时 所 用 的 卷 积 哄 声 v 相 混淆 )。 式 (16.3) 的 所 有 参量 都 是 复 值 的 。 假 设 发 送信 号 
x, 和 信道 噪声 v (14) 都 是 均值 为 零 的 广义 平稳 信号 , 则 容易 证 明 ,接收 信号 ol 总 的 均值 也 为 零 ， 
且 其 自 相 关 孙 数 以 符号 持续 时 间 了 为 周期 {见习 题 了 ), 即 


nn, h) = Elult)a*(s)] 
= rnn +7, tT) 


这 表明 ,接收 信号 we ROP. 

使 用 循环 平稳 性 作为 另 一 种 盲 反 卷 积 方 法 的 基础 之 所 以 特别 吸引 人 ,是 因为 它 仅仅 使 用 
二 和 阶 统 计量 即 可 提取 相位 信息 ,从 而 克服 了 基于 HOS 的 算法 收 敏 速率 慢 的 限制 。 

Gardner(1991) 是 第 一 个 看 出 调制 信 叶 的 循环 平稳 性 允许 仅仅 利用 二 阶 统 计量 就 可 以 恢复 
信道 的 幅度 和 相位 响应 的 学 者 。 然 而 ,利用 循环 平稳 统计 量 进行 言 信 道 识别 和 均衡 的 思想 则 
应 该 归功 于 Tog 等 (1991)。 事 实 上 , 仅 靠 二 阶 统计 量 即 可 求解 育 芭 卷 积 这 个 难题 的 能 力 被 看 
做 一 项 重要 的 技术 突破 。 由 Tong 等 提出 的 最 初 思想 依赖 于 使 用 时 间 分 集 , 即 对 接收 后 号 进行 
过 抽样 。 通 常 ,在 数字 通信 系统 中 ,完成 该 运算 是 为 了 定时 和 相位 恢复 的 特定 用 途 。 然 而 ,就 
我 们 所 讨论 的 内 容 面 言 ,过 抽样 的 应 用 导 残 一 个 分 数 间 隔 均衡 句 (FSE fractionally spaced equali- 
zer)。 之 所 以 这 样 称谓 ,是 因为 其 均衡 抽 头 的 间隔 小 于 输入 符号 速率 的 倒数 。 

在 目前 已 提出 的 许多 分 数 间 隔 言 信道 识别 或 均衡 技术 中 ,我 们 选择 了 子 空间 分 解法 , 它 与 


(16.4) 
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Schmidt(1979) 最 初 提出 的 用 来 估计 信号 到 达 角 的 多 信号 分 类 《MUSIC, multiple signal classifica- 


ton) 算 法 之 各 有 密切 的 联系 。 因 此 ,下 一 节 所 述 内 容 揭示 了 这 样 一 个 事实 :在 求解 盲 反 卷 积 问 
题 时 ,可 以 从 大 量 的 统计 阵列 信和 号 处 理 文 献 中 获得 许多 有 益 的 司 示 。 


16.3 分 数 间隔 盲 辨识 用 子 空间 分 解 


正如 前 面 所 提 到 的 ,从 接收 信号 过 抽样 出 发 ,讨论 子 空间 分 解 。 假 设 接收 信号 u(t) 通过 


Ay 
i 
(一 了 了 (16.5) 
进行 过 抽样 , 式 中 7 表示 符号 间隔 , 工 为 正 束 数 : 则 式 (16,3) 取 为 离散 形式 
T so op 
(A o 
令 
j=nL+i  1=0,1,...,L-1 (16.7) 
式 (16.6) 可 改写 为 
of wr + m) = PELC — kT + T) + far + T) (16.8) 
为 了 表示 方便 , 设 
sp Hm) 
zt] = ul nr + m) 
和 
pl} = of ar + m) 
因此 ,我们 可 用 如 下 简单 形式 定义 式 (16.8) 的 过 抽样 信道 输出 
w= S hpt 041 (16.9) 
kx: 


在 进一步 阐述 这 个 问题 前 , 先 做 如 下 两 个 假设 : 
1. 信道 是 因果 且 具有 有 限时 间 支 持 的 , 即 
h =0 MF < ORK > M 和 所 有 的 ! (16.10) 


式 中 OM 是 真实 信道 的 阶 数 。 
2. 在 n 时刻 ,接收 机 处 理由 发 送信 和 号 向 量 引 起 的 信道 输出 , 它 由 + NAP Se B 


X, = [ww 《16.11) 


因此 ,在 接收 端 我 们 发 现 ,每 个 数据 块 含有 M 个 样本 。 取 决 于 这 些 样 本 如 何 分 块 ,过 抽样 信 . 
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道 有 如 下 两 种 等 效 的 矩阵 表示 : 
1. 单 输入 多 输出 (SIMD,single-input，multiple-output) 模 型 ” 它 由 共享 一 个 输 和 人 端的 工 个 子 
信道 组 成 ,如 图 16.2 所 示 。 每 个 子 信道 共有 类 似 的 时 间 支 持 和 各 自 的 噪声 分 布 。 设 
第 /个子 信道 可 表征 如 上 : 
@(M+1)x 1 AAR ARO) 
ho = [hie hD, AP 

eNx 1 接收 信号 向 量 

ul?) = [il alas ony val 
@ 六 xl 噪声 向 量 


vP = [PrP ave 


let 





wel j 


图 16.2 单 输入 多 输出 过 抽样 信道 模型 
于 是 ,可 用 矩阵 形式 { 代 表 六 个 连续 的 接收 信号 ) 将 式 (16. 史 简洁 地 表示 为 


u = Hx, + vO £=0,1,..,L—-1 (16.12) 
式 中 发 送信 号 向 量 x, 由 式 (16.11) 定 义 。w x (CM + WwW) 滤波 矩阵 BY RA HARE 
《Toeplitz) 结 构 , 可 表示 为 
A hP hy 0 
D RË 人 
HO = ho fii- hi l (16.13) 
0 0 = AP hË c hg 


最 后 ,将 式 (16.12) 的 工 个 方程 构成 的 方程 组 合并 为 单一 式 子 ,可 写 出 
fi, = HX, + a, (16.14) 


to 
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式 中 


是 IN x 1 多 信道 接收 信号 向 量 


是 IN x 1 多 信道 噪声 向 量 , 而 


H= : {16.15) 
HG 
LN x (M+ 入) 是 信道 卷 积 算 阵 ,和 耸 阵 中 的 各 项 由 式 (16.13) 定 义 。 


. Sylvester HMA FH PAAR REI Pi 上 个 于 信道 系数 多 分 在 一 起 ,出 
hi = [AO AD. AEP k=01,...,.M 
相应 地 ,定义 Lx 1 接收 信号 向 量 
w, = (0) uh. seul? 
和 工 x1 噪 声 回 量 
v, = fv, ,wh 
然后 ,在 此 基础 上 用 式 (16.9) 将 AL 个 接收 信号 组 合 为 
u, 
Ta Un- 
=< : (16.16) 
mn-A+i 
= Hx, + en 
式 中 ,发 送信 和 号 向 量 x, 由 式 (16.11) 定 义 。LN x 1 Ro EA 
Va 
Va-N+l 


而 IN x (M+ NEREK EAMA 
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hi hi, o hy 0 - 0 
0 hh hy - O 

He . Y ! M ', : (16.17) 
6 0 - hy W oo hy 


SHER FEA A IEH BRA Sylvester 4 Ae SE EF ( Rosenbrock , 1970; Tong et al., 1993), A 
此 ,这 个 术语 用 来 称谓 过 抽样 信道 的 第 二 种 矩阵 表示 。 
令 人 感 兴 趣 地 注意 到 , 单 给 人 多 输出 (SMO) 信 道 能 够 利用 上 个 传感器 或 天 线 组 成 的 阵列 
获得 ,正如 前 面 所 论述 的 。 
16.3.1 滤波 矩阵 秩 定理 


分 别 由 式 (16.15) 和 式 {16,17) 定 义 的 矩阵 尖 和 TE' 中 所 包含 的 信道 信息 是 相同 的 ,它们 之 
间 的 主要 区 别 是 行 向 量 的 排列 顺序 不 同 。 最 重要 的 是 ,由 和 Y 或 KL' 的 备 列 所 张 成 的 空间 是 规范 
等 效 的 。 因 此 ,从 现在 开始 ,我 们 只 需 讨 论 图 16.2 所 示 的 单 输 人 多 输出 模型 。 

多 信道 滤波 和 矩阵 KL 在 育 辩 识 问 题 时 起 着 核心 作用 。 特 别 地 , 当 且 仅 当 元 列 满 秩 时 ,该 问题 
才 有 人 解 。 由 Tong 等 {1993) 提 出 的 一 个 重要 定理 论述 了 这 个 要 求 ,该 定理 可 表述 如 下 ; 


9 LN x (M + NN) 信道 卷 积 矩阵 是 满 秩 阵 [ 即 rank (HH) = M+ NV), RRR STR 








fF: 
1. 多 项 式 
H®(z) = Salen f=0,1,..,L-1 
m=O 
没有 公共 零点 。 
2, 至 少 一 个 多 项 式 HD(z),1=0,1,..., 上 -1 具有 最 大 可 能 的 度 时 ,这 个 条 件 通 常 称 
为 信道 不 等 性 条 件 。 


3, 每 个 子 信道 接收 信号 向 量 ma 的 维 数 N KTM. 
利用 这 个 定理 ( 令 后 ,我 们 将 这 个 定理 称 为 滤波 矩阵 秩 定 理 ) ,很 容易 阐述 盲 辨 识 的 子 空间 
分 解法 。 
16.3.2 寞 辨识 
基本 方程 (16,14) 是 过 抽样 信道 的 秆 阵 表达 式 。 这 个 方程 可 用 图 16.3 所 示 的 框图 来 表 
示 。 这 个 框图 可 以 看 做 图 16.2 所 示 的 单 输 人 多 输出 模型 的 一 个 简化 模型 。 为 了 进行 信道 的 
统计 特性 分 析 ,做 如 下 假设 ; 
e 发 送信 号 向 量 x HERR ae v, 由 统计 独立 的 广义 平稳 入 源 产 生 。 
@ 发 送信 号 向 量 x, HBAS FIAMMA 
R, = E[x,x" | 
AHM +N) x (M+ NYER R, BOT RARE. 
e HERA ERA, XTRA, 的 均值 为 零 , 相 关 和 矩阵 为 
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R,- Elvavt | 
= ol 
式 中 噪声 方差 o 是 已 知 的 ,而 I 为 点 x 六 单位 阵 。 
因此 ,LN x 1 接收 信号 问 丝 *; 的 均值 为 零 , 而 相关 算 陈 定义 为 
R = Elenek] 

= E| (H3, + o Hx, + onl] 
= El Hx, x2 H” | + Elonet] 
= HR.H +R, 





(16.18) 


其 中 
R, = Elo(njo"(n)| 
= oly 
AP Lr LN x IN ARE. BORER PS ASHRAM + N, Eh THREE R 
的 维 数 LN, PX E ER R 的 信号 诱导 部 分 的 奇异 性 是 用 于 所 有 子 空间 估计 算法 的 一 个 贡 
键 特 性 。 


(16.19) 





图 16.3 NPM ea 


Sy TRA E EE A TO ,我 们 用 最 初 由 Schrnidt(1979,1981) 提 出 的 几何 框架 来 
考虑 这 个 问题 。 首 先 , 引 用 附录 EE 的 谱 定 理 ,按照 其 特征 值 和 相应 的 特征 癌 量 来 描述 LN x LN 
AIER 

LN} 
R = 之 和 qd (16.20) 
AUP REE (AEA OE RT PPE 
Ag mA Be a Àm 
Fk ARREARS Se ee : 

l. a> k=0,1,...,M+N-1 

2.aA,=0° k= M+N,M+N+4I,..., IN-i 
因此 ,由 矩阵 及 的 特征 向 量 所 张 成 的 空间 可 分 为 两 个 子 空间 : 

L 信和 号 子 室 间 9 该 空间 由 特征 值 Ao, Ais. .Aww_1 相 应 的 特征 向 量 张 成 。 这 些 特征 

向 量 可 写 为 
5, = Qi k=0,1,...,4@+N-1 
2. REFE PS REA Arno Amener Anw- 所 对 应 的 特征 向 量 张 
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成 。 这 些 特 征 向 量 汀 写 为 





Be = dv k=0,l,... LN-M-N-l 
噪声 子 空 间 是 信号 子 空间 的 正 交 分 苦 。 
定义 
Re, = ogx k-0,1,...,LN—-M-N-1 (16.21) 


将 带 有 及 。= cI HMR. )AR6.205, Sie 
HR,H'p, = 6 k=OQ,1,..,LN—-M—-N-1 
AARP AR, 都 是 满 秩 阵 , 由 此 可 得 出 
Hig, = k=0,1,..,LN-M-N-1 (16.22) 
式 (16.2) 是 Moulines 等 (1995) 给 出 的 讶 辨识 子 空 间 分 解法 的 理论 框架 。 这 个 方法 建立 在 
下 刻 基 础 上 : 
接收 信号 向 量 a, KEER R H LN - M- NN 个 最 小 特征 值 对 应 的 特征 向 量 的 知 
识 。 
© 未 知 多 信道 滤波 年 阵 玉 的 各 列 与 噪声 空间 的 正 交 性 。 
换 句 话说 ,在 一 个 乘 性 常数 范围 内 ,由 相关 矩阵 及 表征 的 接收 信号 =, 的 敌 环 平稳 性 确实 
足以 满足 信道 讶 辨识 的 需要 。 
16.3.3 另 一 个 正 交 条 件 公 式 
从 计算 的 观点 看 , 式 (16.221 所 未 的 另 一 个 正 变 条 件 公式 使 用 起 来 更 加 方便 。 为 此 , 先 将 
这 个 条 件 改写 为 等 效 的 标量 形式 
|e" eI? = HH, =0 k=0,1,...LN-M-N—1 (16.23) 
#8 Ssh (16.15) Pra a BR, BE LN x 1 特征 向 量 g 用 相应 的 方式 分 
TRAN 


gx =| & (16.24) 
gi!) 
ap gP (1s0,1,...,L-lENx1 A. RK, RA 16.13) 2 h E HO 的 组 成 方 


st ,我 们 构造 (M+ 1) x (M+ 入) 矩阵 


Bev gh BEN 0 ~ 0 
O gË gD o 0 

GP=| F Eko U geina kna | (16.25) 
0 0 全 hb gh 1 TUR 


最 后 , 当 1-0,1,...,L-LN RMR RSA SRA WA (16.15), Ra [=0,1,...， 
1 利用 式 (16.25) 定 义 的 矩阵 来 构造 LM + 1) x (M+ NER 
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GP 
qi 
G, = Í k=0,1,..,LN—-M—-N-I (16.26) 
Geo 
给 定 刚刚 定义 的 9i , 则 可 以 证 明 (见习 题 3) 
ge HAs, = h'G,gih (16.27) 
式 中 
hi) 
(1) 
h n 
Re 


是 按照 多 信道 系数 定 尽 的 二 (时 +1)x1l 疝 量 。 故 可 用 等 效 形 式 形 示 式 (16.23) 的 正 交 条 
件 

h’¢,G2h = 0 k=0,1...,LN—-M-N-~-1 (16.28) 
这 就 是 我 们 所 期 户 的 关系 式 。 在 式 (16.28) 中 ,未 知 多 信道 系数 用 向 量 h 表示 ,而 在 式 (16.23) 
中 , 则 以 高 度 灵 巧 结构 的 和 矩阵 开 表 征 信道 系数 。 


16.3.4 估计 信道 系数 
在 实际 应 用 中 ,我 们 必须 使 用 特征 向 量 g 的 估 值 。 假设 这 些 估 值 用 g, (hk =0,1,..., 
玉 - 凡 - 帮 - 革 表示 。 为 了 推导 多 信道 系数 向 量 的 估计 式 ,利用 式 (16.28) 的 正 交 条 件 定 义 代 


价 函 数 
Elh) = h” Qh (16.29) 


式 中 
LN-M-N-1 P: 
o- > Ggf (16.30) 
k=0 


是 一 个 LCM 41) LOM + DERE, THRO, 由 式 (16.26) 和 式 (16.25) 定 义 , 不 过 在 这 两 个 
ApH gp RE p. TERR EAT) ASCE R 的 理想 情况 下 ,真实 ( 非 估 计 ) 多 信道 系数 
HE hT hte) =0 惟 一 确定 (除了 一 个 乘 性 常数 外 )。 利 用 基于 估 值 g, KERO, E 
h 的 最 小 二 箭 佑 计 通 过 最 小 化 代价 函数 寺中) 来 计算 。 然 而 ,这 个 最 小 化 必须 在 人 台 适 约束 条 件 
下 完成 ,以 避免 = 0 这 一 平凡 解 。Moulines 等 (1995) 提 出 了 两 条 可 能 的 优化 准则 : 

1. 线性 约束 ”在 约束 条 件 oh = 1 下 最 小 化 代价 函数 和 (h) ,其 中 是 一 个 任意 的 LOM +1) 

x1 辐 量 。 

2.244% PEARSE | bl =) AER Reh). 

第 -一 个 准则 要 求 指 定 一 个 任意 向 量 c, 而 第 二 个 准则 看 起 来 似乎 更 自然 些 , 但 其 计算 量 
BR. 
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16.3.5 实际 考虑 


由 式 (16,5) ~ 式 (16,30) 包 含 的 子 空间 分 解 理论 足 一 个 相当 理想 化 的 理论 ,因为 它 的 成 功 
运用 依赖 于 如 下 三 个 假设 : 

1. 加 性 信道 噪声 v {4) 是 白 开 声 , 朋 已 知 其 方差 六 oa 

2. 图 16.2 所 示 模 型 中 虚 信 道 转移 函数 无 公共 零点 。 

3. 信道 的 阶 数 型 已 知 。 


第 一 个 假设 是 合理 的 。 为 了 考察 第 二 个 假设 的 合 埋 性 ,我 们 需要 知道 信道 阶 数 M 的 确切 值 ， 
而 它 怡 是 第 三 个 假设 的 实质 性 内 容 。 遗 憾 的 是 ,在 实际 中 无 法 获得 这 些 信息 。 因 此 ,我 们 不 得 
不 利用 过 抽样 数据 矩阵 来 倍 计 信道 阶 数 。 

确定 模型 阶 数 的 问题 会 由 于 其 他 实际 情况 变 得 复杂 :典型 地 ,通信 信道 脉冲 响应 很 长 且 可 
分 解 为 两 部 分 : 


9 主 部 它 位 于 脉冲 响应 的 中 间 部 分 , 且 构 成 脉冲 响应 的 主要 部 分 。 
e Za 它 由 脉冲 响应 的 前 学 部 分 和 尾部 组 成 ,在 整个 响应 中 所 占 比 例 较 小 。 


以 此 为 基础 ,可 定义 有 效 信道 阶 数 为 信道 脉冲 响应 主 部 的 阶 数 。 当 然 , 有 效 信道 阶 数 小 于 信道 
阶 数 的 真正 值 。Liavas 等 (1999a) 在 论文 中 指出 ,在 育 信 道 辨识 问题 中 ,只 党建 模 信道 脉冲 响应 
的 主 部 。 设 定 这 个 限制 的 原因 是 ,除了 建 模 信道 脉冲 响应 主 部 外 ,人 们 也 试图 建 模 其 尾部 ,最 
后 可 能 导致 一 个 病态 的 过 建 模 情况 ,由 于 计算 的 原因 这 是 应 该 避免 的 。 因 此 , 设 定 了 这 一 限 
制 。 忽 略 信道 脉冲 痢 应 尾部 所 造成 的 影响 ,相当 于 引 人 一 个 可 看 向 有 色 吕 声 的 扰动 。 


16.3.6 经 典 信息 论 准则 不 能 成 功 地 确定 有 效 信道 阶 数 的 原因 


为 了 估计 未 知 的 有 效 信道 阶 数 性, 可 采用 经 典 的 信息 论 准 则 , 即 Akaike 的 信息 论 准则 
《ATC) 和 Rissanen 的 最 小 描述 长 度 (MDL) 准 则 。 根 据 第 1 章 的 讨论 ,我 们 已 经 得 知 ,这 两 个 准则 
的 推导 基于 两 个 假设 :相继 数据 向 量 是 独立 同 分 布 (i.i.q. ) 的 零 均值 高 斯 随机 向 量 ,而 加 性 咒 
声 是 与 信道 输出 端 承载 信息 的 信号 不 相关 的 白 高 斯 噪声 。 遗 憾 的 是 ,在 某 些 情况 下 ,这 两 个 假 
设 的 有 效 性 对 于 讶 信道 辨识 问题 是 靠不住 的 ,原因 如 下 : 


式 (16.18) 的 相关 和 矩 阵 及 是 由 呈现 时 移 特 性 的 数据 向 量 构成 的 ,结果 是 相继 数据 向 量 之 
间 不 是 统计 独立 的 ,这 意味 着 第 一 个 假设 无 效 。 
e 考虑 信道 防 冲 响应 尾部 影响 ( 它 在 确定 有 效 信 道 阶 数 时 忽略 掉 ) 的 加 性 有 色 噪 声 ,使 第 
二 个 假设 无 效 。 
实际 上 ,利用 实测 微波 无 线 信道 数据 ,Liavas 等 {1999b) 已 经 证 明 ; 基 于 AIC 和 MDL 准 则 的 模型 
阶 数 悄 值 对 信和 只 比 (SNR) 变 化 和 估计 中 所 用 的 数据 样本 数 是 很 敏感 的 。 说 明 如 下 : 


@ 当 高 SNR{SNR > 30 dB) 和 多 数据 样本 (ww > 300) 时 ,用 这 两 个 信息 论 准 则 将 导致 过 建 模 ， 
它 将 使 得 到 的 模型 阶 数 稍 值 是 实际 上 无 用 的 。 

o 当 低 SNR 和 少数 据 样本 数 旦 模型 的 统计 特性 变化 不 是 很 大 时 ,AIC 和 MDL 提供 了 模型 
阶 数 的 有 用 估 值 . 它 导 致 足够 好 的 育 辨 识 结果 。 然 而 ,这 些 估计 值 对 统计 变化 高 度 敏 
感 ,使 得 该 结果 对 于 实际 应 用 不 能 令 人 满意 。 此 外 ,对 统计 变化 的 敏感 性 是 造成 数据 分 
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类 [分 为 炙 建 模 成 过 建 模 Cundermodeled or overmodeled) 混乱 的 原因 之 一 ,这 显然 是 我 们 ] 
所 不 希望 的 。 


16.3.7 秩 检 测 准 则 


汶 了 克服 经 典 信息 论 淮 则 的 局 限 性 ,Tiavas 等 (1999b) 提 出 一 种 确定 有 将 信道 阶 数 OM 的 
秩 检测 准则 (rank-detection criterion}。 这 个 新 的 准则 来 源 十 数值 分 析 。 只 要 注意 到 这 里 上 所 述 的 
基于 SOS 的 育 信 道 辨识 方法 依 同 于 子 空间 分 解 思想 ,就 会 明白 采 下 该 准则 是 -一 件 很 自然 的 
事 。 


4 


à 1 & 
R= 2 Malt (16.31) 


表示 LN x LN 相关 矩阵 RMR, Ro A eK SR AY 
FPVx1 数 据 向 量 的 块 数 ， 假 设 及 为 两 个 分 量 ( 秩 为 的 “理想 "矩阵 Rg A AERE 也) 之 
和 , 即 
R= Ria + E (16.32) 
FE p EAN 
p=N+M (16.33) 
有 效 信道 阶 数 MATE p ARRE., IST BE E A= BB a gs (1) A 
KTS ER; (2) ae GIERE; GHA RT ERR. Sh IR 
设 瑟 小 于 Raw 
把 恨 分 为 及 和 已 是 由 物理 考虑 激发 的 , 即 信道 脉冲 响应 的 主 部 决定 有 效 信 道 阶 数 虹 。 
然而 ,实际 上 ,我 们 并 不 估计 信道 的 脉冲 响应 ,而 仅仅 对 让 进行 分 解 。 设 恨 的 谱 分 解 为 


R= Ad (16.34) 


令 宁 表示 由 p 个 最 大 特征 值 i,，.,. , 完 ,相应 的 特征 向 量 张 成 的 "估计 "信号 子 空间 ,六 表示 
HERRIE i Apia. ,和 nw.1 相 应 的 特征 向 量 张 成 的 " 千 计 "噪声 子 空间 。 品 声 子 空间 衣 
与 信号 子 空 间 少 彼 浊 正 交 。 

我 们 所 要 寻找 的 是 “理想 " 子 空间 ys 的 一 个 近似 , 即 由 矩阵 Rioww 的 列 向 量 张 成 的 一 个 p 
维 子 空间 。 特 别 地 ,可 用 由 良 求 出 的 由 近似 表示 sw。 引用 RR 的 秩 等 于 p 这 一 假设 , 呵 以 导 
汕 扰 动 矩阵 卫 的 平方 欧 氏 范 数 的 下 界 

JEJ? BA, (16.35) 

这 里 E| ARER BR EE SR EE)。 换 名 话说 ,未 知 的 “理想 "信号 子 
空间 和 * 佑 计 " 信 叶子 空间 是 通过 一 个 范 数 大 于 等 于 特征 值 六, 的 扰动 矩阵 联系 在 一 起 的 。 

因为 与 理想 矩阵 取 , 相 比 , 假 设 扰动 答 阵 下 是 小 的 ,所 以 我 们 很 希望 估计 信号 子 空间 外 在 
某 种 意义 上 楼 近 要 确定 的 理想 信号 子 空间 9 ww。 最 后 ,注意 到 尽管 式 (16.35) 不 足以 计算 这 两 
个 信号 子 空间 之 间 的 距离 ,但 它 还 是 为 我 们 检查 估计 信号 子 空间 守 相对 于 小 扰动 的 敏感 性 指 
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出 了 一 个 方法 。 上 下面, 用 一 个 LN x LN 抑 阵 表示 这 一 扰动 , 其 大 小 ( 即 平方 欧 氏 范 数 ) 定 义 为 
lel? A, (16.36) 
这 是 实际 扰动 矩阵 王 可 能 有 的 最 小 范 数 。 
一 方面 FP TERA e 不 敏感 , 则 认为 佑 值 信 身子 空间 少 接近 于 理想 信号 子 空间 gf 是 正 
RN. AWW AS Mita = 敏感 ,就 有 理由 认为 这 瞩 个 信 导 子 空 间 是 相互 远离 的 。 
以 这 些 直 觉 上 令 人 满意 的 思想 为 基础 ,可 将 秩 估 计 淮 则 表述 如 下 (Liavas et al. ,1999b) 


理想 矩阵 Ry ROHR EE EM p, SAIS ST EMSA Kh 
S= 全 全 人 (16.37) 


i=l 


AWF lel SiC p 取 所 有 可 能 的 值 ) 的 所 有 扰动 8 中 最 不 敏感 的 。 
然后 ,考虑 用 来 估计 符 阵 及 的 某 一 扰动 8, 由 此 得 到 一 个 新 的 矩阵 


R=Rie (16.38) 
其 谱 分 解 式 为 
LN- 
R = 4:47 (16.39) 
i=0 
ENE , AT se X mi n F ERE 
m 二 1 
& = $ 4447 (16.40) 


描述 的 “扰动 "信号 子 空间 。 
为 了 进一步 讨论 ,利用 两 个 同 维 线性 子 空间 之 间 的 距离 测度 , 即 数 值 分 析 中 常用 的 典型 角 
SALE AR. RH, AT PERN F (Stewart & Sun, 1990): 
设 五 和 了 表示 两 个 同 维 的 线性 子 空 间 , 用 矩阵 丑 | 的 列 向 量 构造 空间 XY, ( 即 , 空 间 革 的 
ERS) ORE LRA VERY AAEREN 了 的 标准 正 交 基 。 那 各 ,矩阵 XI Y 
的 非 零 奇 异 值 就 是 子 空间 下 和 了 之 间 非 堆 规 范 角 的 正 芯 。 


在 此 基础 上 ,引入 所 要 寻求 的 距离 测度 
F = |sinz(P, FP (16.41) 
式 中 玫 ({ 杀 , 包 ) 是 子 空间 和 之 间 的 夹 角 。 结 果 是 ,这 个 距离 测度 决定 于 扰动 8 的 大 小 以 及 与 


扰动 信息 子 空间 凶 和 估计 躁 声 子 空间 首 有 关 的 特征 值 之 间 的 间隔 (Wedin, 1972)。 基 于 这 个 结 
果 , Liavas 等 (1999b) 继 续 导 出 下 面 的 距离 测度 $ 的 上 界 


A 





~ Àp 


T<r(p) = {Âp — 2A, (16.42) 
1 其 他 


式 (16. 和 2) 表 明 , 佑 计 信 号 子 空间 杀 相 对 于 满足 式 (16.36) 的 扰动 8 的 敏感 性 ,主要 由 估计 信号 
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子 空间 由 的 最 小 特征 值 1, 和 估计 噪声 子 空间 的 最 大 特征 值 区 之 间 的 间隔 决定 。 

若 r(p) <1, BNA, > Âp UTS Te MS I) A, 的 扰动 6 不 敏感 。 这 一 结果 
证 实 , 估 计 信 号 子 空间 了 接近 于 理想 信和 号 子 空间 wa 相反 ,车 r(p) ~ 1, BDA, ~A,_,, UGE 
信号 子 空间 中 对 扰动 = 很 敏感 ;此 时 ,两 个 子 空间 之 间 相 互 接近 荐 值得 怀疑 的 。 

因此 ,可 将 秩 检测 过 程 用 公式 表示 为 

Ê = arg minr(p) (16.43) 

式 中 r(p) 由 式 (16.42) 定 义 ,5 REM Rs 未 知 秩 的 佑 值 。 
16.3.8 基于 SOS 的 子 空间 分 解法 小 结 

表 16.1 总 结 了 用 于 讶 信道 办 识 的 子 空间 分 解法 的 步骤 。 该 表 突 出 了 该 方法 的 如 下 特 
TE: 

仅仅 信道 输出 的 二 阶 统计 量 (SOS) 用 在 计算 中 。 


e 该 方法 是 面向 批 (分 志 ) 处 理 的 。 
9 该 方法 的 计算 量 很 大 。 


在 表 16.1 的 小 结 中 ,我 们 用 奇异 值 分 解 (SVD, 见 第 8 章 ) 计 算 相关 矩阵 估 值 坟 的 特征 值 和 特 
征 向 量 。 应 用 于 数据 矩阵 A 的 SVD 过 程 已 被 证 明 , 其 数值 误差 比 时 间 平 均 相 关 竹 阵 下 的 直接 
特征 分 析 要 小 。 

注意 ,第 6 步 中 ,在 | bl =1 约束 条 件 下 最 小 化 多 (h) 等 效 于 寻找 矩阵 包 的 极端 特征 向 量 。 
因此 ,有 关 使 用 数据 算 阵 各 奇异 值 分 解 而 不 是 矩阵 乘积 A "和 特征 分 解 的 这 一 优点 ,也 应 用 于 
第 5 步 。 这 样 做 ,我 们 能 够 计算 矩阵 

[Go G1. wapa] 
的 一 个 极端 左 奇异 向 量 , 而 不 是 矩阵 鱼 的 极端 特征 问 量 。 
816.1 言 信道 辨识 子 空间 分 解法 小 结 


1, 过 取样 信道 输出 ,通过 取 


HUA AY TERRE SALE TAR, wie x 
ul = uf a + F) 


l T 
ul? = [un, ul, tee ,Wt ya] 


ug 
Jo 
a, 一 : 
ulit) 


a 
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(ER ) 


2. 构造 四 x 天 数据 矩阵 
AT = [ers Mary wx} 


其 中 We LN TA RAE SEHR PHARRR AM, W> kK RE A 对 应 于 趣 定 系统 。 
3. 计算 数据 矩阵 的 奇异 人 分 解 , 即 
£ 0 
UAV = Ee | 


E = diagloy, Ti., Cw 1) 
而 如 和 立 为 西 矩阵 ,其 列 分 别 是 数据 矩阵 的 左 GARR, SA e AAP A op moe zoe >0, 它 们 是 
SRS RMA. BA aH, 是 相关 年 阵 个 值 
È = aA"A 
的 第 下 个 特征 和 值 的 平方 根 , 其 中 我 们 总 略 了 比例 因子 iK WIER Y 的 列 是 征 阵 让 的 特征 向 量 。 
4. 利用 钦 检 测 蕉 则 


其 中 


{AT BAe Raw HIF p 
p= are minrtp) 
,利用 第 REH ARR p ,将 数据 空间 分 为 
(a) 信号 子 空间 中 ,对 此 有 


A 


(b) RATZEN, 对 此 有 


Bi = York k=0,1 wW-p-1 
RERE 
FFAA FHM hs rian 0 coe 0 
Gi = 0 BP oe Bka Bye 0 
k o x 
0 Qos a zt bi "TU 
利 
ey 
X Gi 
Gk = $ k=01,..., W- p-!] 
Ge» 
6. 计算 信道 脉冲 响应 向 量 bh GAL, BOT ER ARE || bh = 1 下 最 小 化 如 下 代价 函数 
e(h) = h’ Oh 
来 实现 ,其 中 
W-6-1, - 
Q= 之 GG 
kal 


op 一 


558 自 适 应 滤波 器 原理 


16.4 Bussgang 家 均衡 算法 


下 面 , 转 到 育 反 眷 积 的 第 二 种 方法 ,考虑 如 图 16.4 所 示 数 宁 通 信 系 统 的 基带 模型 。 该 柑 
型 由 一 个 线性 通信 信道 和 一 个 下 均衡 器 级 联 组 成 。 


KERN 四 
| mln! 


图 16.4 未 知 售 道 和 盲 均 衡器 的 元 噪声 级 联 
如 前 ,信道 包括 发 送 滤波 名 .传输 媒质 和 接收 滤波 器 联合 作用 。 人 和 信道 可 用 -- 个 未 知 慢 时 变 
脉冲 响应 h, RATE. h, RECS SIA) Re RRR Re. ON T EEr 
论 , 在 本 节 假 设 脉冲 响应 是 实 值 的 ， 对 应 于 使 用 多 级 脉 帆 调 制 {M-ary PAM, multilevel pulse- 
amplitude modulation) 的 情况 。 于 是 ,可 用 卷 积 和 
u(n) = > Ayx(n — k) a = 0,+1,+2,... (16.44) 
k= 


SR TRC a fee eA EARS sa EMARE A Si CP 9 uC) ER 
理 结果 产生 的 信道 输出 。 在 这 个 讶 反 卷 积 的 初步 论述 中 ,图 16.4 Bee oe eT RB 
响 。 这 种 噪声 忽略 已 被 证 明 是 合理 的 ,因为 数据 传输 (如 在 一 个 语音 级 电话 信道 上 传输 ) 性 能 
的 恶化 通常 是 由 信道 色散 引起 的 符号 凶 于 扰 (ISD) 造 成 的 。 进 一 步 假设 


Sap =i 
它 意味 着 使 用 了 自动 增益 控制 (AGC,automatic gain control) , 它 使 信道 输出 u(r) 的 方差 保持 基 
本 不 变 。 一 般 来 说 ,信道 也 是 非 因 果 的 ,这 表明 
h,#0 WFa<O 

于 昆 ,我 们 要 解决 的 问题 可 表述 如 下 ; 

假设 已 知 接收 信号 (信道 输出 ju(n), 重 构 加 到 信道 输入 端的 原 数 据 序列 n)a 
这 个 问题 可 以 等 效 地 重 述 如 下 : 

在 信 道 输 入 不 可 别 和 无 法 获得 期 望 响应 的 情况 下 ,设计 一 个 车 于 未 知 信道 之 逆 的 均衡 器 。 

为 了 求解 这 个 育 均 衡 问 题 ,需要 规定 数据 序列 x(n) 的 概率 模型 。 为 此 ,做 如 下 假设 
(Bellini, 1986, 1994}; 

1. 数据 序列 x(n}) 是 白色 的 , 即 数据 符号 是 均值 为 零 .方差 为 1 的 独立 同 分 布 (i.i.d.) 随 

机 变量 , 即 





Elxtn)| =0 (16.45) 
和 
E[x(njx(k)| = k Caz (16.46) 
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式 中 EE 表示 统计 期 望 算 子 。 
2. 数据 符号 x(n) 的 概率 密度 晒 数 是 对 称 和 均匀 的 ( 伟 图 16.5) 
fla) = few —V3Sx<V3 
0 其 他 
这 个 分 布 的 优点 是 该 分 布 独立 于 调制 讨 程 中 所 用 的 幅度 级 数 M o 


注意 , 式 (16.45) 和 式 (16.46) 的 第 一 行 从 式 (16.47} 导 出 . 

由 于 假设 xtn}) 的 分 布 是 对 称 的 ,如 图 16.5 所 示 , 故 知 整个 数据 序列 -x(n} 具 有 相间 于 
xza) 的 变化 规律 。 因 此 ,我 们 无 法 区 分 期 望 的 道 滤波 回 生 [对 应 于 xf 及 其 反 道 滤波 器 
-E (SWF - x(n) i, 我 们 可 通过 初始 化 芭 着 和 算法 ,使 得 人 存在 一 个 常 有 期 望 代数 符号 的 
非 泽 单 押 头 权 值 道 恋 波 器 ,以 此 来 克服 符号 模 烂 问题 ， 这 也 能 钥 通 过 采 几 信 源 信号 差分 编码 
无 害 地 实施 。 


(16.47) 


-v3 0 3 
图 16.$ 均匀 分 布 


16.4.1 RRR: HER 
© w, RRR OA ES ae Ph, 之 疗 的 关系 为 
D whi = 5; (16.48) 


式 中 S, 是 Kronecker & eX 


1 =0 
ô = te #0 (16.49) 


以 这 种 方式 定义 的 道 滤波 器 正确 地 重 构 了 发 送 的 数据 序列 on) ,在 这 个 意义 上 说 该 滤波 器 是 
“理想 "的 。 所 以 , 它 是 理想 逆 滤 波 器 。 为 了 证 明 这 一 点 ,首先 写 出 


D wain- 1) = X Dwil = i= k) (16.50) 
然后 TER (16.50) F, $ k= i- i A PER, FPR BR AU ,得 到 
>, waln —i) = 2 x(n =- i) 之 why, (16.51) 


Hest (16.48) AFR (16.51) SPAR 16.49) AE, AT tS 
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Donutn -i= $x- l) 
f j 


= x(n) 


(16.52) 


这 就 是 我 们 根 竖 得 到 的 结果 . 

对 于 这 里 讨论 的 情况 ,脉冲 啊 应 h ERR: 因此 我 们 不 能 用 式 (16.48) 确 定 逆 滤 流 器 。 
代 之 ,我们 用 迁 代 反 卷 积 方法 米 出 由 脉冲 响应 w n) ETE AIT a aE. 下 标 了 表示 近似 
道 滤波 器 横向 实现 的 抽 头 权 什 数 , 如 图 16.6 Bras. n 肯 示 送 代 次 数 , 每 次 迁 代 相应 于 传输 一 
个 符 导 。 这 项 计算 以 下 述 方 式 选 代 地 进行 :脉冲 响应 z(z) 与 接收 信号 u(n) 卷 积 的 结果 完全 
或 部 分 地 消除 了 符号 间 干 扰 (Bellini，1986)。 于 是 ,在 第 n 次 迭代 ,得 到 一 个 近似 的 反 卷 积 序 
列 





L 
y(n) = Sutn — i) (16.53) 


WP 27 + 1 SE BROT pe w, Ca) KERE 16.6)}。 图 中 慨 设 横向 滤波 器 { 均 衡器 ) 关 于 中 
点 = 人 0 对 称 ,也 可 不 做 此 假设 。 


mn + 1) 





yin) 
图 46.6 BERKARAR EEUN BE E 


区 想 道 滤波 器 的 式 {16.52) 左 边 的 卷 积 和 是 一 个 无 限 求 和 式 ,因为 下 标 i IF- o Bl o ji 
国内 。 此 时 ,我 们 称 它 为 双 无 限 姜 波 器 或 双 无 限 均衡 器 。 另 一 方面 ,属于 近似 道 滤波 器 的 式 
(16.53) 右 边 的 卷 积 和 是 一 个 有 限 求 和 式 , 因 为 i 从 - 工 变化 到 工 。 我 们 将 这 后 一 种 滤波 器 称 为 
有 限 参 数 化 滤波 器 或 有 限 参 数 化 均衡 器 , 它 就 是 实际 中 常 遇 到 的 那 种 姜 波 器 。 显 然 , 式 
(16.539 7 KAA 

ya) = Fûn- id &(n) = 0 HF|} > L 


AREETA 
y(n) = Swula— i) + Slax) -wun - i) (16.54) 
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vn) = Efel- wlan i) = 0 MF > L (16.55) 


然后 , Bl] sh (16.52) PPAR SR AR (16.55) EE, eR 16.54) dey 
yin) = xla] + p(n) (16.56) 
eR (nH RE Se Reon A ERS. TERE 16.2 
TETI EAJ, 3816.56) PARE Se ES 16.2 他所 用 的 信道 噪声 混为一谈 。 
下 面 , 道 滤波 器 输出 y(n RS Ot ER Ei ae LA ERTS zi BT 
x(n)。 这 一 运算 画 在 图 16.7 的 育 均 衡 框 图 中 。 于 是 ,可 以 写 出 
t(n) = gly(n)) (16.57) 
式 中 g 表示 某 个 非 线 性 函数 ( 非 线 性 合计 将 在 下 一 节 讨 论 )。 


横向 滤波 器 
hatn} 









FE 
REITA sie) 








图 16.7 育 均 衡器 杠 图 


通常 ,nm 次 迁 代 的 估 值 *(n) 是 不 通 可 靠 的。 不 过 ,我 们 能 够 以 一 种 自 适应 的 方式 使 用 它 ， 
以 便 在 其 后 的 n+ 1 次 选民 中 获得 较 好 的 估 值 。 实 际 上 ,有 各 种 可 用 来 完成 这 个 自 适 应 参数 
估计 的 线性 自 适 应 滤波 算法 (在 前 面 章节 中 讨论 过 ) ,特别 地 ,可 以 使 用 LMS 算 法 这 一 简单 有 
效 的 方案 。 为 了 用 它 解决 当前 的 问题 ,要 注意 以 下 几 点 : 
1. n 次 选民 (时 间 ) 中 横向 滤波 器 的 第 i SARA aE a(n - i)o 
2. 将 非 线 性 估计 (an) 当 做 期 望 响应 [因为 我 们 无 法 得 到 发 迁 的 数据 符号 x(n)], 并 注意 
到 相应 的 横向 滤波 器 的 输出 为 y(n) ,可 将 迁 代 反 卷 积 过 程 的 估计 误差 表示 为 
efn) = x(a) 一 y(n) {16.58) 
3. n 次 迭代 中 第 i PRS wo, (Cn ORB RAAT It EB". 
因此 ,n + 1 URE PSs 2 MSC BB A 
win +1) = win) + pun — etn) P= 0, 4,... EL (16.59) 
式 中 u 是 步 长 参数 (注意 ,对 于 这 里 讨论 的 情况 ,所 有 的 数据 都 是 实数 据 )。 
式 (16.53) (16.57) . 式 (16.58) 和 式 (16.59) 构 成 了 实 基 带 信道 育 均 衡 的 选 代 反 眷 积 算 
法 。 如 前 所 述 ,算法 的 每 次 类 代 对 应 于 发 送 一 个 数据 符号 ,其 持续 时 全 假设 在 接收 机 中 是 已 
知 的 。 
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产生 个 计 误差 efm) 的 思想 ,如 式 116.57) 利 式 (16.58) 所 详 述 ,在 原理 上 类 似 于 自 适应 均 
衡 玫 碳 辐 判决 的 运行 模式 (本 节 后 面 还 将 对 这 个 问题 做 进 -- 步 讨论 )。 


16.4.2 EOAR ee 


FAT FE RAUB A 16.50) HSER A RE A 
d(n) = Efe*(n)] 
= E[(#(n) — y(n)} | {16.60} 
= Elev) — y) y] 
式 中 y(n) 由 式 (16.53) 定 义 。 在 LMS BE RE A AA, Ae RA 
一 个 极 小 点 。 相 反 , 式 (16.60) 的 代价 函数 天 m) 是 抽 头 权 值 的 非 凸 函数 。 这 表明 ,此 处 所 述 的 
造 代 反 卷 积 方 法 的 误差 特性 曲 而 除了 一 个 全 局 极 小 点 外 ,通常 还 有 堵 个 局 部 极 小 点 。 可 能 存 
在 若干 个 多 局 极 小 点 ,对 应 于 在 所 选择 的 盲 反 卷 积 准 则 下 得 到 若干 个 等 效 的 数据 序列 (例如 ， 
FSER) AOAR J(n) 可 能 是 非 凸 的 ,因为 作为 内 部 生成 “期望 响应 ”的 估 值 (nn) 是 
上 由 线性 组 合 器 的 输出 y(n) 通 过 一 个 非 线 性 函数 产生 的 ,还 因为 y(n) 自 身 也 是 抽 头 权 值 的 
图 数 。 
值得 注意 的 是 ,实际 实验 表明 多 数 ( 如 果 不 是 所 有 的 话 ) 盲 反 卷 积 准 则 是 多 模 的 ,由 此 呈现 
名 个 极 小 点 。 当 由 不 局 的 极 小 点 得 到 不 赔 的 性 能 指标 时 ,使 用 这 个 准则 就 会 出 问题 。 在 这 类 
算法 中 ,远近 哪 一 个 极 小 点 强烈 地 取决 于 初始 条 件 。 一 般 来 说 ,在 全 局 最 小 吸引 域内 搜索 初始 
值 的 过 程 仍然 是 一 个 有 待 解决 的 问题 。 然 而 ,正如 将 在 第 16.7 节 说 明 的 那样 ,也 会 出 现 这 个 
规律 的 某 些 例外 (本 节 的 后 而 部 分 将 更 详细 地 讨论 算法 收 伍 性 这 个 重要 问题 )。 


16.4.3 卷 积 品 声 的 统计 特性 


加 性 卷 积 吧 声 由 式 (16.55) 和 定义。 为 了 导出 更 好 的 zx(m) 表 达 式 ,我 们 注意 到 该 式 右边 求 和 
项 中 抽 头 输入 wn 一 门 为 [ 见 式 (16.44)] 


















































u(n ~ i) = DArx(n —i-k) (16.61) 
因此 ,可 将 式 (16.55) 改 写 为 双 求 和 表达 式 , 即 
vin} = > 之 各 [他 (站 — wx(a — i — k) (16.62) 
现 设 
a-i-k=l 
则 式 (16.62) 可 改写 为 
p(n) = 2 x(/) Vin -ė} (16.63) 
AF 
Vin) = F hdna) = waa] (16.64) 


序列 y(n) 是 一 系列 绝对 值 很 小 的 数 , 它 代表 因 不 理想 均衡 产生 的 残余 脉冲 响应 。 可 以 将 
VY 《n) 想 像 为 一 个 长 的 振 萝 波 。 它 与 发 送 数 据 序列 *(n) 卷 积 产 生 卷 积 噪声 序列 "(m) ,如 式 
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(16.63) 所 示 的 。 
式 (16.63) 所 示 的 定义 是 差 积 噪声 v (nn) 统计 特性 的 基础 。v tn) 的 均值 为 零 , 即 


E[v(n)| = E| Sven = n 
= 之 Vin — HEA] (16,65) 


=0 
在 式 中 最 后 一 行 , 已 经 利用 式 (16.45)。 其 次 ,对 于 延迟 joen) HARRERA 


El v(n)y(n 一 iy) = z| SY =- i) S x(n) Vin -m~ j| 


= $ X Wa- OV - m — eElx()x(m)] (16.66) 


7 
= $ Vn- DVia- i- j) 
了 


在 式 中 最 后 一 行 ,这 时 利用 了 式 (16,46)。 由 于 Y(n) 是 一 条 长 的 振 葛 波 , 故 仅 当 =0 时 , 式 
(16.66) 右 边 的 和 式 才 不 等 于 零 ,因此 


atin) i=0 


Elv(n)v(n ~ 万] = y ren (16.67) 


AP 
a(n) = È Vn 一 站 (16.68) 


FEL (16, 65) ATER (16.67) REM EA ORR Sy (EDR AY 22 SF o (nT eh ( 16.68) 
定义 1 的 零 均值 HRA, 

根据 式 (16.63) 的 模型 , 卷 积 只 声 rr) 是 代表 数据 符号 不 同 传 输 的 独立 同 分 布 (i.i.d.) 随 
视 变量 的 加 权 和 。 轩 此 ,如 有 果 残 余 脉 溃 响应 FCn) 足 够 长 , 则 根据 中 心 极 限定 理 可 知 ,v(n) 可 
用 高 斯 模型 表征 。 

独立 表征 卷 各 噪声 "fn) 后 , 剩 下 要 做 的 所 有 事情 是 计算 (ay 和 数据 样本 x(n) 之 间 的 互 
相关 。 因 为 "(m) 是 残余 脉冲 响应 Y(n) 与 *(n) 卷 积 后 得 到 的 结果 [如 式 (16.63) 所 示 ], 因 此 这 
两 个 随机 变量 之 间 一 定 是 签 此 相关 的 。 然 而 ,与 {n) 的 方差 相 比 ,r(n) 与 x(n) 之 间 的 互相 关 
可 以 仍 略 不 计 。 为 了 证 明 这 一 点 ,我们 每 出 


E[x(n)o(n — j)} = Elx(n) 之 xDYC -1— jf} 
= X Vina - 1 - PElx(n)x()) (16.69) 
I 


= VN) 
式 中 最 后 一 行 ,已 经 利用 式 (16.46)。 这 里 ,再 次 利用 Y (EARRA BRT AE 
断 ,与 互相 关 El x(n) (n -~ 站] 的 幅 值 相 比 ,vtn) 的 方差 较 大 。 
因为 根据 假设 数据 序列 *(n) 是 白 噪 声 ,而 根据 上 述 推 断 卷 积 品 声 序列 "(=) 是 近似 白 紧 
声 ,而 且 这 两 个 序列 基本 上 是 不 相关 的 ,因此 它们 之 和 y(n) HEAR. Ke x(n) fl 
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zfn) 基 本 上 是 相互 独立 的 。 因 此 ,可 把 郑 积 噪声 "( za) 建 模 为 一 个 与 数据 序 询 xC) SOT E 
的 如 性 , 零 均值 a A RIA 

因为 在 推导 卷 积 只 声 模型 时 做 了 一 些 近似 处 理 , 国 此 在 应 用 它 进 行 迁 代 解 卷 积 过 程 时 将 
得 到 煞 据 序列 的 一 个 次 优 估 计 骨 .特别 地 ,如果 达 代 解 郑 积 过 程 是 收 伍 的 , 则 该 过 程 后 期 阶段 
的 符号 间 十 扰 (1S1, intersymbol interference) 对 可 用 模型 米 说 将 足 况 小 。 然 而 ,在 选 代 反 着 积 过 
程 的 早期 阶段 ,ISI 通常 很 大 ,结果 是 数据 序列 与 卷 积 躁 声 是 强 相 关 的 ,而 且 卷 积 噪声 序列 的 分 
布 比 高 斯 曲 声 更 均匀 (Godfrey & Rocca，1981)。 


16.4.4 数据 序列 的 零 记 忆 非 线性 估计 


现在 考虑 另 一 个 重要 问题 :给 定 横向 滤波 器 输出 端的 反 卷 积 序 列 y(n), 估 计数 据 序列 
x(n)o 特别 地 ,我 们 可 表示 咎 计 问 题 如 下 : 
已 知 一 个 (经 滤波 的 ] 观 测 值 y(n 由 两 部 分 之 和 组 成 ( 见 图 16.8): 


L 一 个 均 慎 为 零 . 方 差 为 1 的 均匀 分 布 数据 符号 x(n)、 
2. — AHERE FEA o*(n) 的 白 高 斯 噪声 r(n), 且 它 与 x(n) 统 计 独 立 。 


要 求 导 出 一 个 统计 最 优化 的 x{n) 的 贝 叶 斯 合计。 


在 着 手 讨 论 这 个 经 典 估计 问题 以 前 ,提出 了 两 个 值得 注意 的 问题 。 首 先 , 这 个 估计 本 质 上 
是 依赖 于 最 优 准 则 的 条 件 估计 。 其 次 ,尽管 这 个 估计 (理论 上 ) 是 均 方 误 莽 意义 上 的 最 优 估 计 ， 
但 是 就 现在 情况 而 言 , 它 是 一 个 次 优 估计 。 因 为 在 推导 卷 积 噪声 x (n) 模 型 时 ,做 了 一 些 近 伺 


处 理 。 
x(n) 























SAM fa 
rin) 


16.8 给 定 观 测 值 y(n) ,估计 数据 符号 sin) 


一 个 特别 令 人 感 兴趣 的 最 优 准 则 是 最 小 化 实际 传送 数据 x(n) 与 估 值 *(n) 之 间 误 差 的 均 方 
值 。 这 个 最 优 准 则 的 选择 得 到 一 个 条 件 均 值 估计 髓 ,该 舍 计 髓 既 灵 敏 ,又 可 靠 。 
为 了 表示 方便 起 兄 ,我 们 隐 去 随机 变量 与 时 间 n 的 关系 。 因 此 ,给 定 观 测 值 y, 和 随机 变量 
x 的 条 件 均值 估计 # 可 写 为 ELx1y]( 这 里 表示 数学 期 望 算 子 )。 令 f(x17y) 表 示 给 定 y 时 x 
的 条 件 概率 密度 函数 。 于 是 ,我 们 有 
x= Elxly] 


z f “aei eA 


根据 贝 叶 斯 原则 ,有 





中 ”条件 均值 居 计 及 其 与 均 方 误差 知 计 的 关系 的 推导 贿 见 附录 D。 
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本 f (At 
fyfx|y) = RO) (16.71) 
AP Arlo RRA E x hy BREE SE ef Cc) Al fy PBs s My 的 概率 密 


度 函 数 。 央 此 , 式 (16.70) 可 改写 为 
x -5 xfyly |x} xlix Jd + (16.72) 


设 除 子 一 个 夫 性 噪声 rtm) 外 , 反 眷 积 序 列 yin RE OR ox Ce) Bo EY, Ep 

V= te (16.73) 
式 中 比例 因子 co 略 小 于 1。 引 人 比例 因子 eo dth TARRAA E y ] 恒 等 于 1。 由 前 面 导出 
的 卷 积 噪声 v 的 统计 模型 可 知 ,x 与 ;统计 独立 。 由 于 v 建 模 为 均值 为 零 、 方 差 为 o HAR, 
故 从 式 (16.73) 易 见 ,比例 因子 mm 为 


m= Vi-o {16.74) 
站 外 ,由 式 (16.733) 可 以 得 出 
frlylx) = fyly - cox) (16.75) 
因 些 ,将 式 416.75) 代 人 式 (16.72) ,得 
EE A a 
t= | tly cox)fxlx) de (16.76) 


x 的 计算 是 通俗 易 伐 的 ,但 却 很 乏味 元 长 。 因 此 ,在 进行 计算 时 ,要 注意 以 下 几 点 : 


贝 叶 斯 (条 件 均值 ) 估 计 器 输出 端 产生 的 估 值 x(n) 的 数学 表达 式 取决 于 愿 数据 符号 
x(n) 的 概率 密度 函数 。 为 了 分 析 ,假设 x 服从 均值 为 零 .方差 为 1 的 均 勾 分 布 , 旦 其 概 
率 密度 函数 由 式 (16.47) 定 义 。 为 了 方便 起 见 , 将 该 式 重 写 如 下 


2v3 NB Se v3 
fy(x) = 7 其 他 (16.77) 
2. 卷 积 噪声 z 服 从 均值 为 零 . 方 差 为 o 的 高 斯 分 布 ,其 概率 密度 函数 为 
2 
folv) = -二 -ep{- +) (16.78) 
3, 经 滤波 的 观测 值 y 等 于 cox 与 "之 和 ,因此 其 概率 密度 函数 等 于 x 与 ?这 两 个 随机 变量 
概率 密度 函数 的 卷 积 
fely) = [pcan = cox) dx (16.79) 
est (16.77) Bs (16.79) FF ZK (16.76) , 9B) (Bellini, 1988) 
>l _ g Z0) - Zla) (16.80) 


coy Qin) ~ Ol) 
式 中 变量 
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(y+ V3 co 


_i 
Y) 了 


和 
» 7 Lo 7 V3 cy) 
PRAY ZC y ERR Oe E on 


1 : 
£ i = a} fe 
{y} V (16.81) 





BRIE OC RE RA AA 
1 = n? 2 
Qiy) -zl e*? du (16.82) 


需要 对 式 !16.80) 的 非 线 性 佑 计 器 做 微小 的 增益 修正 ,以 便当 选 代 反 卷 积 算法 [由 式 
(16.57) 到 式 (16.59) 所 述 j 最 终 收 和 伍 时 ,获得 理想 均衡 出 , 即 满足 y = x。 在 最 小 均 方 误差 条 忻 
下 ,人 千 计 误差 与 近似 道 滤波 器 柳 向 实现 中 的 每 个 抽 涉 输入 正 交 。 把 所 有 这 些 放 在 一 起 ,我 们 发 
现 , 必 须 满 足 如 下 条 件 (Bellim，1986，1988) 

Eltg(£)] =1 (16.83) 


RP g(x) 是 理想 均衡 用 带 有 y = 2 的 非 线性 估计 器 * = g(y)( 见 习题 7)。 

图 16.9 示 出 8 量化 级 PAM 系统 的 非 线 性 估计 器 = g(y) 与 1z! 之 间 的 关系 曲线 (Bellini， 
1986，1988)。 该 估计 占 按 照 式 (16.83) 进 行 了 归 一 化 。 图 中 ,考虑 了 三 种 广泛 差异 的 卷 积 噪声 
量 级 。 此 处 ,根据 式 (16.73) 我 们 注意 到 ,失真 与 含 品 信 号 (信号 加 失真 ) 的 比率 为 


El{y - x)’] 


y S a +o 





(16.84) 
= 2{1 — co) 


对 于 式 中 最 后 一 行 ,我 们 已 经 利用 了 式 (16.74)。 图 中 曲线 对 应 于 三 个 不 同 的 比值 , 芭 0.01、 
0.1 和 0.8。 由 这 三 条 曲线 可 看 出 如 下 几 点 : 


1. 当 卷 积 品 声 低 时 , 言 均 衔 算法 遇 近 于 最 小 均 方 误差 准则 。 

2. 当 卷 积 噪声 高 时 , 非 线性 估计 器 似乎 与 调幅 数据 结构 好 坏 无 关 。 实 际 上 ,由 于 式 
《16.83) 所 定义 的 归 一 化 作用 ,不 同 的 调幅 什 只 会 产生 增益 值 的 微小 差别 。 这 表明 在 
多 量化 级 调制 系统 中 ,使 用 均匀 粘度 分 布 已 是 一 个 足够 好 的 近似 。 

3. 非 线性 估计 器 对 卷 积 曝 声 方差 的 变化 具有 重 棒 性 。 


D 一般 来 说 ,对 于 理想 均 病 ,我 们 要 求 
y= (x — Dye* 
式 中 了 是 延 退 常数 ,8 RHR. UPR FPA EO ERE a OE a. A 
输入 数据 序列 x, 是 平稳 的 ,并 且 信 道 是 线性 和 时 不 变 的 。 因 此 ,信道 输出 端的 观测 值 y(n) 也 蚌 平 稳 的 ,而 二 上 其 概 
SRS EF pA ARBRE RK # 变 化 的 特性 ， 当 输 人 序列 的 楼 率 密 度 函 数 在 旋转 下 仍 保持 对 称 特 性 时 ,相称 常数 
是 无 闫 紧要 的 。 对 于 所 很 设 的 式 (15.77) 中 的 密度 函数 ,情况 的 确 如 此 。 因 此 ,我 们 可 通过 要 求 y = HABE 


的 条 件 简化 。 
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d. HRE HAR A S BS CAR eT (Ba 0.8), AIEE be ( Haykin, 1996) A] LAG SF 
地 近似 表示 图 16.9 所 示 的 输入 输 击 特性 曲线 ,该 双 曲 正切 函数 为 





e= atann ( 2] (16.85) 
式 中 ,第 一 个 参数 为 
a, = 1.945 
而 第 二 个 参数 为 
a, =1,25 


注意 ,该 非 线 性 函数 的 起 始 部 分 的 斜率 与 ez 成 正比 。 


2 


Ix} 4 





16.9 在 高 斯 昌 声 茶 性 下 ,8 量化 级 PAM 数据 韭 线性 估计 器 x = glz) 
的 性 能 ,其 中 曲 声 与 (信号 + 隐 骨 ) 之 比分 别 为 0.01.0.1 和 0.8 


16.4.5 ”收效 性 考虑 


当 式 (16.57) ~ 式 (16.59) 描 述 的 选 代 反 卷 积 竺 法 在 均值 意义 圭 收 敏 时 ,我 们 要 求 抽 头 权 
值 性 (na 的 期 望 值 随 着 迭代 次 数 趋 于 无 穷 而 接近 某 个 常数 。 因 此 ,均值 收 伍 的 条 件 可 表示 为 


ELu(n-i)y(n)] = EluCn-igly(n))) 4SaRBRBI=0,41,..., 2658 
在 该 式 两 边 司 时 乘 以 w,. ,并 对 i 求 和 ,得 到 


L L 
EÍ y(n) Snel - J = E| (v(m) Satnaln - J “4n BRI 


(16.86) 
其 次 ,由 式 (16.53) 注 意 到 
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ya —k} = Stila - kjuln— k — i) 
EL 
L-k 
= È binu- nk 
UE LIRR E CAR E E E aR AE a Me Sth 


TEE > Qadr u(n —i) “nat LB ARt (16.87) 
因此 ,我 们 可 利用 式 116.87) 将 式 (16.86) 简 化 为 
Ely(njy(a — k)) = Flety(a)jyin - k) nE LBAN (16.88) 
现 可 看 出 如 下 特性 :一 个 随机 过 程 被 认为 是 Bussgang SEE, WOR EAL QP AE 
E| yinyin ~ k)] = Elylajely(n - ky} (16.89) 


式 中 函数 g 是 一 个 零 记 忆 非 线性 隔 数 9。 换 名 话说 , Bussgang 过 程 共 有 这 样 的 特性 : 自 相 关 函 
数 等 于 该 过 程 与 其 产生 的 零 记 忆 非 线性 系统 输出 之 间 的 互相 关 , 而 且 这 两 个 相关 是 对 相同 延 
迟 测 得 的 。 注 意 , Bussgang 过 程 满 足 式 (16.89)} 可 以 相差 - -个 乘 性 常数 ;但 在 此 处 ,这 个 乘 性 党 
BET 1, 因 为 式 (16.83) 上 所 做 的 假设 。 

车 回 到 当前 的 问题 , 则 可 指出 ,只 要 工 较 大 ,图 16,7 零 记 忆 非 线性 函数 输入 的 过程 y(n) 
可 近似 为 Bussgang 过 程 ;而 且 上 越 大 ,近似 的 程度 就 越 好 ， 由 于 这 个 原因 ,由 式 (16. 和 给 ) 到 
(16.59) 描 述 的 盲 均衡 算法 称 为 Bussgang 算 法 {Bellini, 1986, 1988). 

一 般 来 说 , Bussgang 算法 的 收 化 性 是 难以 保 征 的 。 实 际 上 ,由 于 运行 在 有 限 长 上 方式 下 的 
Bussgang 算法 的 代价 函数 是 非 凸 的 ,因此 有 许多 不 正确 的 极 小 点 。 

然而 ,在 双 无 限 均衡 器 的 理想 情况 下 , Bussgang 算法 收 钱 性 的 一 个 粗粮 证 明 可 大 致 叙述 如 
下 {Bellini, 1988)[ HIE ikt F Benveniste 等 (1980) 导 出 的 一 个 定理 ] 名 : 设 天 数 风 (4y) 表 示 LMS 
算法 中 的 估计 误差 对 模 向 滤波 器 输出 y(n) 的 依赖 关系 ,根据 前 面 的 术语 , 则 有 [ 见 式 (16.57) 
和 式 (16.58)] 





wy) = sty) y (16.90) 
Benveniste-Goursat-Ruget 定理 指出 ,如果 数据 序列 an SD tl a, Be Cy) 
阶 导 数 在 [0, m ) 内 取 负 值 , 则 可 保证 Bussgang BREN, ETET: 
1. 如 果 一 个 分 布 的 峰 度 小 于 高 斯 分 布 的 峰 庆 ,我 们 就 称 该 分 布 是 次 高 斯 分 布 的 。 根 
据 式 (16.2) 给 出 的 峰 度 的 定义 ,高 斯 分 布 的 里 度 为 % =3。 例 如 , 当 v >2 时 ,随机 变量 
x 的 概率 密度 函数 








fra) = Ke rH K = (16.91) 





TO AU HALE M F Bussgangs REPL FE. Bussgung F 1952 EF ARAR, (OT RA A AA 16. 89) BE 
APE. BA. Barrett Ft Lampard( 1995) 3%: Bussgangi 442 SAT RARE ARR. ee 
pagr CAE HAARE E- -PAER RER Oo AR 

@ Te A690) 4 LRE 和 是 Benveniste FUNE K TE A ROR N 
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是 一 个 次 高 斯 分 布 ;而 当 Y > RT, 16.9] Fae BSE RRA TAS 
满足 Benveniste-Goursat-Ruget 定理 的 第 一 部 分 。 

2. Bussgang 算法 也 满足 该 定理 的 第 二 部 分 ,这 是 因为 

0 4O<y <a (16.92) 
这 容易 通过 检查 天 16.9 Hy Ae oh 16.85) EAE. 

HEAR Bussgang 算法 收 人 证 性 时 所 用 的 Benveniste-Goursat-Ruget 定理 是 基于 双 无 限 均衡 虑 假 
设 的 。 遗 憾 的 旦 ,在 实际 中 这 一 假设 会 受到 破坏, 因为 我 们 利用 了 有 限 参 数 化 均衡 器 。 至 今 ， 
大 们 已 经 知道 , 非 零 记 忆 非 线性 函数 将 导致 图 THA MPS RMA A E 
(Verdi, 1984; Johnson, 1991), EEA PROB IK SEIS BEM) Bussgang 算法 的 全 局 收 伍 性 仍然 是 一 
个 有 待 解决 的 问题 。 不 过 ,有 实际 的 证 据 [ 它 为 站 和 Ding(1995) 介 绍 的 收 繁 性 分 析 结 果 所 支 
持 ] 可 以 推断 ,Bussgang 算法 将 收敛 到 所 期 望 的 全 局 极 小 点 ,如 果 横 向 让 波 器 足够 长 并 用 非 零 
值 中心 抽 头 初 始 化 的 话 [例如 ,图 16.5 中 wof0) =1]。 


16.4.6 面向 判决 的 算法 


当 Bussgang 算法 收 伍 后 ,应 当 将 均衡 器 平稳 切换 到 面 癌 判 决 的 上 作 模 式 。 如 同 传统 的 
自 适应 均衡 器 一 样 ,我 们 要 对 这 类 均衡 器 中 模 向 滤波 器 抽 头 权 什 的 最 小 均 方 误差 施加 控 
制 。 

图 16.10 介 绍 了 一 个 工作 在 面向 判决 模式 的 均衡 器 框图 。 这 种 工作 模式 与 育 均 衡 模 式 的 
惟一 不 同 在 于 使 用 了 和 零 记 亿 非 线性 形式 的 函数 。 特 别 地 ,该 图 中 用 门限 判决 部 件 代替 了 条 件 
均值 估计 。 给 定 观 测 值 y(m=)( 即 横向 滤波 器 输出 的 均衡 信号 ) ,门限 判决 部 件 利用 接近 于 
yn) 的 发 送 数据 序列 的 已 知 字符 的 特殊 值 做 判决 。 于 是 ,可 以 写 出 


E(n) = dee(y(n)) (16.93) 


门限 判决 装置 






图 16,10 Bey RO TIRA AEE 


PaO, EARR EH A A FR A 
oe C 对 信号 l 


对 信号 0 we 
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而 判决 函数 是 
dec{y(2))} = sgn(y(r)) (16.95) 

式 中 sgn Beas hE SPASM. 37 A TE RE + 1 TH, MY -1 

除了 用 式 416.93) 代 替 式 (16.57) 外 ,控制 面向 判决 算法 运行 的 方程 网 于 Bussgang 算法 。 
其 中 ,基于 Bussgang 算法 并 结合 而 向 判决 算法 的 盲 均衡 器 的 实际 重要 性 在 于 : 它 的 实现 只 略 比 
传统 的 自 适 应 沪 流 器 复杂 ,但 无 需 使 用 训练 序列 。 

假设 满 是 以 下 条 忻 : 

1. 当 完 成 育 均 衡 时 , 眼 图 是 其 和 开 的 。[ 眼 图 是 指 接收 信号 不 同 实现 (每 个 实现 对 应 于 一 个 

发 送 符号 ) 时 同步 释 加 后 的 合成 图 案 ; 该 图 案 与 人 的 眼睛 相似 , 故 称 为 服 图 。] 
2. 面向 判决 的 LMS 算法 中 使 用 的 步 长 参数 o 是 固定 不 变 的 。 
3. 用 向 量 iis alae age gta peels 


lim — tour 一 Efun (m) JLP (16.96) 


则 在 这 些 条 件 下 ,面向 判决 算法 的 抽 头 权 向 量 在 均 方 误差 意义 上 收 侣 到 最 优 ( 维 纳 ) 解 (Maccehi 
& Eweda, 1984)。 这 是 一 个 很 有 用 的 结果 , 它 使 面向 判决 的 算法 成 为 数字 通信 中 育 均 衡 
Bussgang 算法 的 一 个 重要 助手 。 
16.4.7 RAHE 

从 上 面 关 于 Bussgang 算法 的 讨论 可 以 看 出 ,需要 一 个 退火 过 程 ,以 便 随 着 均衡 一 步 一 步 的 
进行 ,均衡 器 能 够 借 此 对 不 同等 级 的 卷 积 噪声 进行 处 理 。 对 于 这 样 一 个 过 程 的 需要 ,可 从 考查 
图 16.9 中 三 个 不 同 的 咯 声 与 噪声 加 信和 之 比 的 曲线 中 看 得 很 清楚 。 然 而 ,首先 不 难看 出 , 当 
喉 声 电 平 高 时 , 双 曲 正切 函数 etanht a;y/2) 可 作为 图 16.7 的 盲 均衡 器 中 零 记 忆 软 非 线性 函 
数 g 一 个 良好 的 逼近 器 。 退 火 过 程 的 主要 目的 是 为 了 在 保持 标 度 参 数 o 不 变 的 同时 改变 斜 
率 参数 ac 。 考 虑 到 这 个 特殊 情况 ,现在 假设 此 处 所 述 的 三 阶段 退火 过 程 如 下 : 


1. 初始 化 阶段 ”分 别 对 标 度 参 数 a 和 斜率 参数 a, 赋予 一 个 指定 值 。 正 如 前 面 所 指出 
的 ,对 于 图 16.9 的 例 图 ,一 个 合适 的 选择 是 :a, = 1.945 和 az = 1.25。 

2. 收效 阶段 ”从 图 16.9 可 以 看 出 , 当 噪 声 对 噪声 加 信和 号 比 从 0.8 降 到 0.1 时 ,斜率 参数 
a, 略 有 增加 。 然 而 ,在 这 样 的 噪声 与 含 噪 信和 号 比 的 大 旺 降低 能 够 达到 之 前 , 育 均 衡器 
要 经 过 大 量 的 迭代 。 因 此 RAD RAI RE SERIE) ,斜率 参数 a, 
逐渐 增加 直至 讶 均衡 器 进入 局 部 或 全 局 极 小 点 的 基 个 邻 域 。 

. 面向 判决 阶段 ”一 旦 育 均 衡器 收敛 旦 其 腿 贺 张 开 , 斜 率 参 数 o 以 一 种 特定 方式 平滑 
地 增 天 , 即 在 少量 迭代 的 过 程 中 , 双 曲 正切 画 数 逐 步 变 为 其 极 跟 形式 (符号 函数 的 形 
式 )。 

因此 ,通过 加 人 一 个 退火 过 程 , 可 将 图 16.7 的 盲 均衡 器 结构 扩展 为 图 16.11 的 形式 。 事 

实 上 ,这 种 新 的 盲 均 衡器 的 结构 满足 了 图 16.10 所 示 的 面向 判决 工作 模式 的 要 求 。 


Lo 
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16.5 将 Bussgang 算法 推广 到 复 基 带 信 道 


至 今 ,我 们 仅 对 M 进 制 PAM 系统 的 盲 均衡 讨论 了 Bussgang 竺 法 的 应 用 ,该 系统 是 由 实 其 
带 信道 表征 的 。 本 节 ,我们 将 这 类 言 均衡 算法 的 应 用 推广 到 严 交 幅度 调制 (QAM, quadrature- 
amplitude modulation) 系统 , 它 涉 及 幅度 谢 制 和 站 位 调制 的 混合 使 用 。 

在 信道 复 基 带 模型 的 情况 下 ,发 送信 号 x(n). 信 道 脉冲 响应 h, 和 接收 信号 on RR 
数 。 于 是 ,可 写 出 


x(n) = x(n) + fxg(n) (16.97) 
ha = Rin + jhon (16.98) 

All 
u(n) = u(n) + jug(n) (16.99) 


式 中 下 标 了 和 人 0 分别 表示 同 相 ( 实 } 向 量 和 正 交 ( 虚 ) 分 量 。 因 此 ,给 定 横向 滤波 器 输出 的 观测 
值 y(n), 复 数据 x(n) 的 条 件 均 值 估计 可 表示 为 
X(n) = E[xCn)| y(n) 

= En) + 六) (16.100) 

= g(yi(n)) + iglyol)) 
AH g 表示 堆 记 忆 非 线性 函数 。 式 (16.100) 表 明 ,发 送 数据 序列 x{n) 的 同 相 和 正 交 分 量 可 通 
过 分 别 对 横向 滤波 器 输出 y(r) 的 同 相 积 正 交 分 量 进行 估计 。 然 而 ,要 注意 的 是 , 仅 当 同 相 和 
正 交 和 信道 发 送 的 数据 彼此 统计 独立 时 ,条 件 均值 Elsin) by Cn) TERRAS. 100) HE 
式 。 实 际 应 用 中 ,通常 就 是 这 种 情况 。 

显然 , 复 基 带 信道 用 Bussgang 算法 包括 了 实 基 带 信道 的 相应 算法 作为 特例 。 表 16.2 介绍 

了 用 于 复 基带 信道 的 Bussgang 算法 的 一 个 总 结 。 
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表 16.2 复 基带 信道 盲 均衡 的 Bussgang 算法 小 结 


计算 ,n=1,2,... 
yin) = yer) + prot} 
I 
= 人 人 af — 2) 
i=—! 
Rr) = En) + jEolrn) 
= giyin} + jalyo(n)) 
eln) = Xn) 一 yin) 
win — 1} win) + pute -- ertny i= 0,+1,....+L 


16.6 Bussgang 算法 的 特例 


第 16.4 节 和 第 16.5 节 中 讨论 了 Bussgang 算法 的 一 般 形 式 , 它 包括 了 大 量 的 讶 均衡 算法 作 
为 特例 。 本 节 ,我 们 考虑 Bussgang 算法 的 两 个 特例 。 


16.6.1 Sato 算法 


MEH PAM BSCE Be ERRETENA] Satof 1975) 的 开创 性 工作 。sato 的 算法 由 
RF AR th Ba RK 
Jin) = Elin) — y(n)) | (16.101) 
的 最 小 化 组 成 , 式 中 ym ERROS SPERRE ER, A TE x(n) 的 
一 个 佑 值 。 这 个 估 放 由 零 记忆 非 线性 方式 获得 , 即 


f(n) = asen[ y(n)] (16. 102) 
常数 | , 
_ Elx(n) 

a= Alen] (16.103) 


置 为 均衡 器 的 增益 。 很 明显 , Sato 算法 是 Bussgang 算法 的 一 个 ( 非 最 优 ? 特 例 ,其 非 线性 函数 
aly) RA 

gly) = asgn(y) (16.104) 
式 中 ggn 表示 符号 函数 。 除 了 一 个 与 数据 有 关 的 增益 因子 a 外 , 式 (16.104) 中 定义 的 非 线性 
函数 类 似 于 与 二 进 制 PAM 用 面向 判决 算法 中 的 非 线 性 明 数 。 

HH Sato 算法 的 引信 最 初 是 为 了 处 理 一 维 多 电 平 (M 进 制 PAM) 信 和 号 ,其 目的 是 获得 比 
面向 判决 算法 更 好 的 鲁 柑 性 。 开 始 时 ,算法 通过 信 计 信号 中 最 重要 比特 ,将 这 种 数据 信号 看 做 
二 进 制 信号 ,该 信号 的 其 余 比 特 都 当做 言 沟 衡 过 程 中 的 吉 性 噪声 。 然 后 ,算法 利用 这 个 初步 步 
巷 中 获得 的 结果 修正 由 常规 的 面向 判决 算法 获得 的 误差 信号 。 

即使 非 线 性 函数 由 下 可 导 ,Sato 算法 也 满足 Benveniste-Goursat-Ruget 收 敏 定理 。 根 据 这 一 
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定理 ,能够 获得 Sato FE AYE ORE, AE Ae BA eS A PG ad 
布 之 类 的 次 高 斯 函数 近似 表示 (Benveniste et al., 1980), SAT, Sato SEAS UIE 
限 均衡 器 的 极限 情况 下 成 立 中 。 


16.6.2 Godard 算法 


Godard 于 1980 年 首次 提出 一 种 用 于 -二 维 数字 通信 系统 (例如 ,六 进 制 QAM 系统 ) 的 常数 
REHAR? Coad 算法 要 最 小 化 如 下 代价 男 数 
J(n) = El(|y(ay? — RY] (16.105) 


式 中 是 一 个 正 整 数 , 且 





(16.106) 





是 一 个 正 的 实 常数 。Godard FAT ART Be on) SRE. A R, 
的 选择 要 使 得 获得 理想 均衡 即 x(n) = x A AR a J(n) 的 梯度 等 于 零 。 
均衡 器 的 抽 头 权 向 量 按照 随机 梯度 算法 白 适 应 调和 他 (Godard,1980) , RE 


wn + 1) = Wein) + pufn)e*(n) (16.107) 
AH e 是 步 长 参数 ,n(n) 是 抽 头 输入 向 量 , 而 
e(n) = yim R, — yin”) (16.108) 


是 误差 信号 。 根 据 式 (16.105) 的 代价 函数 Cn R ELMAG 108) WIRES e(n}) 的 定义 
可 见 , 控 照 Godard 算法 的 均衡 器 自 适应 不 需要 恢复 载波 相位 。 因 此 ,这 种 算法 收 伍 很 慢 。 然 
而 ,其 优点 是 消除 了 ISI 均衡 与 载波 相位 恢复 问题 之 间 的 相互 影响 。 

入 们 特别 感 兴趣 的 Godard 算法 有 两 类 ; 


We 1p =1) 此 时 , 式 (16.105) 的 代价 函数 退化 为 
Jin) = El{lytn)| - RY] (16.109) 


式 中 , 
p = Ell 


= 16.110 
站 C16. 110) 








中 ”以 下 论文 给 出 了 双 无 限 均 衡器 的 极限 情况 下 Sao AREY: 

* 在 Mazo( 1980) „Verda 1984) Macchi 和 Ewedat1985) 的 论 交 中 业已 证 明 , 对 于 离散 QAM 输入 信和 号 ,Salo 算法 收 部 到 
局 部 极 小 点 。 

”在 Ding 等 (1969) 论 文中 证 明了 ,对 于 有 限 参 数 化 均衡 器 ,sam 算法 在 处 理 次 高 斯 输入 信和 叶 时 ,会 收 租 到 局 部 概 小 点 。 

加 ”研究 Godard 算法 的 最 初 目 的 ,是 为 了 消除 信道 均衡 和 载波 同步 (使 用 好 进 制 QAM 信号 ) 之 间 的 相互 影响 。 常 数 包 
络 调频 信号 用 常 械 数 算法 (CMAD, 作 为 Godard 算法 的 一 个 特例 , 昆 由 reichler 和 Ageet19 输 ) 命 名 的 ,并 在 独立 于 
Godand (1980) 论 文 的 情况 下 完成 的 。CMA 可 能 吡 慑 广 证 研究 的 育 均 衔 算法 ,也 是 实际 中 使 用 最 广 斌 的 一 种 竺 法。 
降低 讶 均衡 器 计算 复杂 诬 的 期 望 和 要 求 推动 了 对 起 正 型 CMA 的 研究 : 

+ ARRA CMA, 其 中 误差 项 e( AAS ARR, Schnitter 和 Johneon(1999) 利 用 抖动 的 递 慎 使 用 履 正 符号 
RE CMA, 由 此 得 到 一 个 十 分 像 原始 CMA 的 鲁 棒 性 算法 ; 它 以 增加 均 方 误差 为 代价 获得 计算 复杂 度 的 降低 ( 细 
HRH 10). 

。 OMA AiR 2 ASE Fa i, ER a BR DAE Be AY A AR Endres e al., 2001). 
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情况 1 可 以 看 做 是 修正 的 Sato 算法 。 
情况 2 4p =2) WAT, 0016. 105) F948 tt PBB LY 
Tn) = EfG — RY] (16.111) 
式 中 
Ellx(m)l] 
本 
情况 2 在 一 些 文献 中 称 为 常 模 数 算法 (CMA ,constant-modulus algorithm) 。 


Godard 算法 被 认为 是 Godard 族 盲 均衡 算法 中 最 成 功 的 一 种 算法 ,正如 Shynk 等 (1991}) 和 
Jablon( 1992) 报 道 的 比较 研究 所 证 明 。 这 可 说 明 如 下 : 


© 就 载波 相位 补偿 而 言 Godard 算法 比 其 他 Bussgang 算 法 更 具 鲁 峙 性 。 该 算法 的 这 个 重要 
特性 是 由 于 推 踢 中 使 用 的 代价 消 数 仅 以 接收 信和 号 的 幅度 为 基础 。 

© 在 稳 态 条 件 下 ,Godard 算法 得 到 的 均 方 澡 差 小 于 其 他 Bussgang 算法 的 均 方 误差 。 

© 最 后 ,但 并 意味 着 最 不 重要 ,Godard 算法 通常 能 够 均衡 色散 信道 ,使 得 在 各 种 实际 应 用 
中 ,开始 时 眼 图 闭合 ,而 当 均 衡 后 , 眼 图 张 开 。 


16.6.3 特殊 形式 的 复数 Bussgang 算法 小 结 


面向 判决 算法 Sato 算法 . 常 模 数 算法 和 Godard 算法 都 可 以 看 做 是 复 Bussgang 算法 的 特例 
(Bellini，1986)。 特 别 地 ,对 于 这 些 算 法 中 零 记 忆 非 线性 函数 g 的 特殊 形式 ,可 由 式 (16.93)、 
式 (16.102) 和 式 (16.108) 得 出 , 示 于 表 16.3(Hatzinakos ,1990)。 面 向 判决 算法 和 Sato 算法 中 的 
各 项 都 可 以 直接 从 定义 得 到 , 即 





(16.112) 


x(n)=g(y(n)) 
在 Godard 算法 的 情况 下 ,我 们 注意 到 
e(n)=x(n)- y(n) 
或 等 效 地 ,有 
gly(n)) = y(n) + etn) 
因此 ,我 们 可 用 后 一 个 关系 式 和 式 (16.108) 导 出 表 16.3 中 复 Bussgang 算法 的 各 种 特殊 形式 。 
$16.3 复数 Bussgang 算法 的 特例 








ou marti ai 
面向 判决 算法 ~ 

Sato 算数 法 den a Ham) 
TERK y(n)(1 + Ry — y(n) 1?) = 
Godard 算法 Dy a ET 


去 注 : 老 栓 人 教 据 昨 二 进 制 的 , 则 应 用 吉 接 判决 算法 中 替 记 忆 非 线性 函数 sgn; 对 于 MEH PAM ARET 对 进 制 限 
幅 器 。 
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16.7 分 数 间 隔 Bussgang 均衡 器 


在 本 节 , 我 们 将 本 章 的 两 个 主题 [其 二 二 阶 统 计量 (503) 的 算法 和 依赖 高 阶 统 计量 (HOS) 
的 Bussgang 算法 ] 结 合 在 一 起 ,以 完成 育 反 卷 积 算法 的 研究 。 为 此 ,强调 循环 平稳 性 与 S03 A 
法 和 Bussgang 算 法 都 有 关系 。 

按照 第 16.2 节 介 绍 的 内 容 , 我 们 可 以 说 ,过 抽样 .分 数 间隔 和 周期 平稳 在 基于 SOS 的 反 卷 
积 算法 中 的 重要 人 性 现在 已 经 完全 确立 。 第 16.3 节 中 讨论 的 相同 信道 的 不 等 性 条 件 和 滤波 和 矩 
阵 秩 条 件 也 能 方便 地 用 于 第 16.4 节 和 第 16.5 节 中 讨论 的 Bussgang 算法 。 这 个 重要 结果 
也 出 现在 & Ding(1996) 的 研究 中 。 他 们 证 明了 Godard 算法 的 所 有 极 小 点 在 单 输入 多 输出 
信道 设置 (结合 多 和 输入 单 输出 均 衔 器 ;下 获得 理想 的 信道 均衡 ;其 前 提 是 采用 几乎 相 则 于 滤波 
HRR EHRE E, HEA ERRARE 3 略 做 修改 :六 的 大 小 现在 代表 均衡 器 每 个 分 支 系数 的 
个 数 。 这 与 单 输 和 人 单 输出 信道 (从 而 单 输 人 单 输出 均衡 器 ) 所 涉及 的 情况 形成 了 鲜明 的 对 照 ， 
因为 在 单 输入 单 输出 情况 下 ,由 常 模 数 准 则 导出 的 多 个 极 小 点 通常 给 出 无 法 与 之 相 比 的 性 能 
水 平 。 

Li 和 Ding(1996) 提 卉 一 种 灵巧 的 证 明 方 法 , 它 一 开始 就 不 像 Benveniste-Coursat-Ruget 定 
理 的 证 明 , 尽 管 革 些 相 切 点 已 为 余人 所 知 。 该 定理 假设 了 一 个 双 无 限 均衡 器 ,并 假设 信道 转移 
画 数 在 单位 圆 内 无 零点 。 用 ju 表示 均衡 器 的 抽 闲 权 值 ,信道 -均衡 器 组 合 响 应 即 总 响应 
为 . 

{ex} = {r} {w} 

式 中 符号 ”* "RAR. Al ie, EO A Wo, | HE RR Ys MR Oz) 
在 单位 图 内 无 零点 ,只 要 合理 设置 均 黎 器 的 抽 头 权 值 ,就 可 以 得 到 生意 形状 的 总 响应 ic, |。 
然而 ,车 1w | 是 有 腿 长 序列 , 则 斑 (z) 且 一 有 限 长 滤波 器 , 且 MES RRA 
移 函 数 中 ;这 种 信道 -均衡 器 的 总 响应 显然 村 受到 约 东 , 即 在 H(z) 的 零点 处 ,其 z PR 
Ke 

现在 ,将 EYP? (Cn) 作为 代价 函数 ,其 中 由 (5) 由 式 (16.90) 定 义 , 信 道 -均衡 器 总 响应 空间 
的 稳定 点 就 是 如 下 系统 的 解 , 即 

dElyr(n)] 
de, 

PRA POR ARN RR eS ce, FEA GAD CF, ATOR AP ELH n) Vidado HZS 
篇 导 矩 阵 ( 即 Hessian PRP 32 ERR EEM. HF EW PERSE SR TE og (+) IU 
信和 号 统计 特性 ,可 以 由 所 有 这 些 解 得 到 理想 的 冲 响 应 , 即 该 啊 应 有 惟一 的 非 零 列 [例如 ,参见 
Benveniste 等 (1980) 和 Godard(1980) 的 论文 ]。 

然而 ,这 种 分 析 方 法 不 能 用 于 有 限 均 衡器 的 情况 ,因为 它 扰 略 了 总 响应 中 含有 着 干 个 信道 
零点 作为 因子 这 一 约束 。 特 别 地 ,均衡 器 的 有 限 长 度 约束 有 可 能 妨 得 我 们 得 到 任何 理想 的 总 
响应 。 

双 无 限 均 衡器 (与 一 个 在 单位 圆 内 无 零点 的 信道 相 结 合 ) 是 一 个 例外 ,因为 此 时 可 获得 和 全 
意 形 状 的 总 响应 ,也 包含 理想 均衡 器 的 总 响应 。 因 此 ,均衡 器 系数 空间 与 总 啊 应 空间 的 描述 基 


二 0 MAK (16.113) 
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等 效 的。 形式 上 ,对 于 这 种 情 沈 可 以 证 明 ( Benveniste et Ql.，1980), 总 响应 空间 的 任 一 个 稳定 
点 产生 均衡 器 空间 的 一 个 稳定 点 (或 者 可 能 是 一 个 稳定 “复式 接头 (manifold)") ,而 且 每 个 稳定 
点 作为 极 小 点 或 鞍点 的 特性 保持 不 变 。( 在 一 个 鞍点 的 情况 下 ,走向 鞍点 的 轨迹 是 稳定 的 ,而 
离开 贰 点 的 辑 迹 是 不 稳定 的 。) 

这 里 描述 的 良好 状态 可 转 称 到 有 限 长 均衡 器 的 情况 ,只 要 将 单 输 入 多 输出 信道 与 多 输入 
单 输出 均衡 器 相 结 合 使 用 即 可 。 这 个 特殊 的 结合 可 得 到 类 似 于 图 16.2 的 信号 流 图 ,此 时 图 中 
每 个 信道 输出 w 被 送 到 具有 拙 头 权 值 fw 人 ?1 的 横向 滤波 融 , 再 对 上 个 滤波 器 的 输出 求 和 。 
将 第 [个 均衡 器 的 抽 头 权 向 量 表 示 为 





wh = [o wP, w=0,1,...,L—1 (16.114) 
WE EA Lar A, Bp 
c= [ce ,car (16.115) 
= H"w i 
式 中 
Ht 
H? 
H= : 
HEED 
各 
ww 加 
wi) 
本 一 . 
wiil) 


式 (16.115) 的 总 响应 中 涉及 与 式 (16.15) 相 同 的 信道 卷 积 矩 阵 KC。 若 满足 滤波 矩阵 秩 定理 的 
条 件 ( 这 里 ,N 是 每 个 均衡 器 的 长 度 ), 列 和 是 一 个 秩 为 M+ 的 列 满 秩 算 阵 。 此 时 ,只 要 选择 
适当 的 均衡 器 系数 , 即 可 得 到 任意 形状 的 信道 均衡 器 总 响应 向 量 c( 包 含 M+ NTR). H 
算 均 衡器 空间 中 极 小 点 的 问题 就 变 为 计算 总 响应 空间 中 极 小 点 的 问题 。 若 满足 Benveniste- 
Coursat-Ruget 定 理 中 其 余 条 忻 , 则 在 没有 信道 噪声 的 情况 下 ?了 , 则 所 有 Bussgang 极 小 点 得 到 理想 
的 均衡 器 。 故 可 看 出 ,除了 对 基于 SOS 的 育 反 卷 积 算法 特别 感 兴趣 外 ,循环 平稳 性 和 有 关 概 
念 也 对 保持 Bussgang 算 法 的 性 能 优势 起 重要 作用 。 特 别 应 该 指出 ,使 用 分 数 间隔 Bussgang 算 法 
的 理想 盲 均 衡 性 条 件 如 下 : 


D 随 视 梯 度 下 降 自 适应 算法 的 收 但 性 分 析 相 当 于 研究 算法 的 稳定 平衡 点 , 即 局 部 或 全 局 极 小 点 。 因为 信道 卷 积 给 阵 
有 一 个 非 平凡 的 零 空间 , 故 算 法 的 平生 点 可 分 为 ; 
。 与 信道 有 关 的 平衡 点 4CDE) 
。 与 算法 有 关 的 平生 点 (ADE) 
天 的 办 空间 受到 由 过 抽样 产生 的 信道 分 集 的 影响 。Ding(1997) 证 明了 ,分 数 间隔 均 竹 器 (FSE) 的 收 敏 特性 仅 由 ADE 
Ee, ASM BR REN BAMBI. EAIRT: (DE Ras MT OH a DHE 
够 大 ,这 个 条 忻 也 称 为 长 度 和 零点 条 件 。 特 别 地 ,使 用 诸如 Codam 算 法 (Codard, 1980) H Shalvi- Weinstein 7 (Shalvi & 
Wuinslein，1990) 之 类 的 言 解 卷 算法 的 FSE 可 以 全 局 收 谣 到 期望 的 平衡 点 。 
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2. 信道 是 无 噪声 的 ， 

3. 发 送信 号 ( 即 信道 输 和 人) 由 循环 对 称 的 独立 同 分 布 (i.i.d.) 复 值 符号 组 成 。 

4, 发 送信 和 号 的 基本 概率 分 布 为 次 商 斯 分 布 , 它 意 味 着 其 峰 度 小 于 高 斯 分 布 的 峰 度 。 
条 件 1 和 条 件 2 属 于 信道 -均衡 器 合成 ,而 条 件 3 和 条 件 4 属于 发 送信 号。 然而 ,在 实际 应 用 中 
信道 总 是 有 噪声 的 。 只 要 信道 曲 声 是 白 皮 声 是 相 对 较 小 ( 即 接收 信号 的 信 距 比 高 时 ), 盲 均衡 
器 的 极 小 点 就 会 有 扰动 ,但 是 它 仍 在 无 只 传道 理想 援 小 气 邻 城内 (Li & Ding,1996)。 
16.7.1 计算 机 实验 


在 这 项 计算 机 实验 中 由 ,我 们 讨论 一 个 4 抽 头 信道 模型 和 2 抽 头 均衡 器 。 二 者 都 是 7/2 间 
隔 的 ,这 里 了 是 符号 周期 。 实 验 中 使 用 2x2 的 信道 矩阵 为 


a hy h, = -0.5 0.3 
mz i H ~ | 1.0 | 
i - MERA RH 


H(z) = ho + faz! 











HAERA 
H,{z) = fy + haz” 


上 县 有 不 同 的 根 。 因 此 ,转移 函数 A ERMA AR AS A. 
设 育 均衡 器 抽 头 权 向 量 表示 为 


出 在 含 品 信 道 的 一 般 情况 下 ,分数 间 隔 Bussgang 均衡 器 的 代价 函数 定义 为 (Johnson et al., 
2000) 


1 
Iw) = Toy — SH wld + 3 oH wl 


t 3 
Ta (Yo. 一 SIW 十 ri oh | wit 


3 1 
+G Toal wh Iw — 5 RATH Tw? + o3{lw|3) 
1 4 
Tn 2,4 (16.116) 


式 中 o 和 7, ,分 别 为 零 均值 发 送信 号 的 方差 和 峰 度 ,oi 和 ,分别 是 零 均 值 加 性 白 信 道 躁 声 
Wr AMEE, ME x 关于 分 量 n 和 x, WL 范 数 定义 为 


Ixe = (et + xt k= 2,4 (16.117) 





中 ”这 项 计算 机 实验 基于 Johnson 等 (2000) 的 研究 。 该 参考 立 献 详细 研究 了 分 数 间隔 Bussgarg 算 法 。 
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图 16.12 画 出 了 代价 函数 J(w) 关 于 抽 头 权 值 wo 和 w 的 三 维 曲 面 图 。 对 于 具有 iid. 
ES WERE y, = 1 的 二 进 制 相 移 键 控 形 式 的 发 送信 号 和 无 品 信 道 ,该 图 可 由 式 {16.116) 算 出 。 
图 16.13 显示 出 改变 代价 函数 值 /时 相应 的 抽 头 权 值 w 对 抽 头 权 值 wo MSR. RA 
清楚 地 显示 出 ,代价 函数 的 4 个 骸 小 点 实际 上 都 是 全 局 极 小 点 ,因此 每 个 极 小 点 都 可 以 获得 理 
想 均 衡 。 





图 16.14 说 明了 非 零 信 道 噪声 对 言 均衡 器 等 高 线 的 影响 。 该 图 是 在 信 噪 比 为 20 dB 下 绘 出 
的 ,这 里 信 噪 比 定义 为 


a 
SNR = 10 logio (2) dB 


比较 图 16.13 与 图 16.14 的 等 高 线 可 以 发 现 ,信道 噪声 会 引起 误差 特性 曲面 形状 的 变动 ,结果 
是 代价 函数 J(w) 的 极 小 点 现在 是 局 部 极 小 点 , 面 不 是 全 局 极 小 点 。 换 句 话说 , 当 有 信道 噪声 
时 ,代价 函数 的 不 同 极 小 点 不 再 导致 相同 等 级 的 均衡 器 特性 。 
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图 16.13 无 品 信 道中 的 等 高 线 图 (每 - -条 等 高 线 表示 ,当代 价 函 数 
Am 0, EGE MEER ALE tw 和 w, 之 间 的 关系 ) 








Uh 


图 16.34 含 品 信 道中 的 等 高 线 图 (每 一 条 等 高 线 表示 当代 价 函 数 人 (wo :ww ) 取 茶 个 
PAIN TASK BLE wo 和 w; 之 间 的 关系 ;计算 时 所 用 的 全曲 比 为 20 dB) 
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16.8 本 章 小 结 


育 反 卷 机 嘴 无 监督 学 习 的 一 个 例子 。 在 这 个 总 浆 上 :, 它 无 需 训 练 序 列 5 即 期 望 相应 ) 即 可 
辨识 一 个 未 知 线性 时 不 变 ( 可 能 非 最 小 相 倍 ) 系 统 之 道 。 这 个 运算 昌 求 辨识 系统 转移 函数 的 幅 
度 和 相位 。 为 了 辩 识 幅度 分 盟 ,我 们 仅 需 接收 持 导 5( 即 系统 输出) 的 二 阶 统计 量 、 但 是 ,办 识 系 
统 的 相位 分 量 要 内 难得 多 。 

一 类 反 卷 积 方法 依赖 于 二 阶 统计 量 (SOS), 它 通过 利用 表征 通信 信道 输出 的 循环 平稳 性 
来 弥补 缺乏 期 焉 响应 的 不 足 。 本 章 中 已 经 证 骨 , 仪 依靠 接收 信号 的 循环 平稳 性 的 确 可 以 辨识 
未 知 的 线性 信道 ,正如 第 16.3 节 中 子 空 间 分 解法 所 证 明 的 .这 实际 上 是 信道 盲 均衡 技术 的 一 
个 重要 突破 。 

育 信 道 辩 识 用 基于 SOS 的 子 空 间 分 解法 依赖 于 批 (分 块 ) 媒 理 实现 。 因 此 它 提供 了 快速 
捕获 ,这 使 得 它 对 于 高 度 非 平稳 环境 (例如 无 线 通信 ) 的 应 用 特别 有 吸引 力 。 然 而 ,这 一 重要 优 
点 是 以 计算 复杂 度 大 量 增加 为 代价 的 。 由 于 计算 机 技术 的 日 益 进步 ,这 或 许 不 会 成 为 一 个 严 
重 的 实际 应 用 问题 。 

这 里 讨论 的 另 一 类 盲 反 卷 积 法 , 即 Bussgang 算法 ,依赖 于 以 一 种 隐 含 的 方式 使 用 高 阶 统计 
量 来 浆 补 无 法 获得 期 望 响应 的 不 足 。 这 种 育 反 卷 积 形式 强制 使 用 非 线 性 好 理 。 最 重要 的 是 ， 
这 个 方法 能 处 理 非 高 斯 的 接收 信和 号 。 

Bussgang 算法 通过 使 接收 信号 服从 于 迭代 反 卷 积 过 程 来 进行 线性 依 道 的 盲 均衡 。 当 该 算 
法 以 均值 方式 收敛 时 , 反 卷 积 序列 服从 Bussgarg 统 计 , 故 将 它 俞 名 为 Bussgang 算 法 。Bussgang 算 
法 有 如 下 特性 ， 

@ 非 凸 代价 铺 数 的 最 小 化 ,因此 可 能 陷入 局 部 最 小 。 

低 计 算 复 杂 度 ,但 略 高 于 需要 训练 序列 的 传统 自 适应 均衡 器 的 计算 复杂 讼 。 

© 相对 慢 的 收敛 速率 。 


从 某 种 意义 上 说 ,基于 SOS 的 子 空间 分 解法 和 基于 隐 式 HOS 的 Bussgang 算法 族 是 互补 
的 ;而 且 在 设计 分 数 间 陋 Bussgang 均 衡器 中 ,常常 将 这 两 个 方法 结合 在 一 起 。 


16.9 习题 


1. 在 本 题 中 ,我 们 探讨 利用 循环 平稳 性 提取 林 知 信道 相位 响应 的 可 能 性 。 
(a) 将 式 {16.3) 用 于 脉冲 响应 h, 的 线性 通信 信道 输出 端的 接收 信号 u(1), 并 引用 第 16.3 
节 中 对 发 送信 号 x 和 信道 噪声 x( 纪 所 做 的 假设 , 试 证 明 u(r) t A e 两 个 时 刻 的 自 
相关 函数 为 
rati to) = Eluf eth) 
= > > rkT — iT hl — AT At — IT) + on - 6) 


式 中 r, (kT) ERER kT 的 发 送信 号 的 自 相关 两 数 , 7h ERE A EA oC 
(MF a 
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(b) DEEP BAA eR AR PO se (BE aS): Se TD RR 163) A 
(1.167) 来 定义 , 即 


也 1 ve T T . 
rat) = F Fal t + z! -3 exp( ji nar jdt 
= 


和 
Sila) = Fri epia, w = Inf 


AF 


k 
ara k = 0,41,42,... 


SW, BEA SET as) PREC AY, ,前 再 (ww) 表 未 信道 的 相位 响应 , 试 证 明 
An 
T 
(c) OY, DA A ARR V, M Oo) AERE, AA PR ,证 明 


TRT 


wkr) = -2j60r)sin( = } k= 0,41,+2.... 


由 这 个 关系 [ 即 关于 从 岁 ,(z) 提 取 相 位 响应 BCw} 的 可 能 性 ], 可 以 得 出 什么 结论 ? 

2. 假设 利用 第 16.3 节 所 述 子 空间 分 解法 估计 式 (16.15) 定 义 的 SIMO ANM REREH. 
试 证明 在 无 曲 声 的 条 件 下 ,理想 均衡 可 通过 利用 其 滤波 矩阵 由 完 的 伪 道 定义 的 多 信道 结构 
来 获得 。 

. 利用 信道 卷 积 矩 阵 蕊 的 定 芝 以 及 与 品 声 空间 从 有 关 的 特征 向 量 g ,导出 式 (16. 人 7} 的 结果 。 

. 线性 预测 的 应 用 为 其 他 育 辨 识 方法 提供 了 基础 。 这 些 方法 的 基本 思想 归结 为 广义 (Bezout) 
ESA (Kailath, 1980), CRM Lx1 多项式 列 向 量 

Hz) = (H(z), Hz) HE MN) 
式 中 HD{z) 是 第 ?个子 信道 的 转移 函数 。 在 H(z) 不 可 约 的 条 件 下 ,由 广义 Bezout 恒等式 
Wl EEA 1 x 上 BMRA 


G(z) = (Gz), GM(z), GET 





¥,(0) = (0 +“) ofo ) k = 0,41,42,... 


e & 


使 得 
Gfz)H[{z) = 1 
Bfl 
FG z)H (2) =i 
inl 
这 个 等 式 的 含义 是 :按照 白 噪声 过 程 v(n) 由 y(n) = H(z)[v(n)] 描 述 的 一 组 滑动 平均 过 
程 , 亦 可 用 一 个 有 限 阶 的 自 回 归 过 程 表 示 。 此 外 ,考虑 无 曲 信 道 的 理想 情况 ,这 时 第 [个 子 


信道 的 接收 信号 定义 为 


M 
u® = SAO xa f=0,1,...,h- l 
mal 


式 中 x, 是 发 送 的 符号 , AO BSS 个 子 信道 的 脉冲 响应 。 试 利用 广义 Bezout 恒等式 证明 
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S ON] = x, 


由 此 证 明 x, Be PVE EA LAP hio BAL TPES AAEM , 
明 这 个 结果 。 
5, 参考 图 16.8, 图 中 采用 了 和 零 记 忆 非 线性 昂 数 g。 盆 设 卷 积 噪声 > 是 加 性 白 高 斯 的 , 旦 统计 独 
立 于 数据 x, 式 (16.80) 定 义 了 数据 x 的 条 件 均 值 估计 。 试 推导 这 个 公式 。 
6. 对 于 理想 均衡 ,我 们 要 求 均 衡器 的 输出 y(n) 精 确 地 等 于 发 送信 号 s(n) WEH, M 
Bussgang 算 法 以 均值 收 合 日 状 得 理想 均衡 时 , 恬 线 性 千 讨 器 必须 满足 的 条 件 是 
Ei igli] = 





式 中 * 是 x 的 条 件 均 值 佑 计 。 

7. 在 执行 选 代 反 卷 积 的 Bussganp 算 法 中 , 式 (16.59) 为 求 横向 滤波 器 抽 头 权 值 提供 了 一 个 自 迁 
应 方法 。 试 旱 出 进行 这 个 计算 的 另外 一 种 方法 ,假设 可 用 一 超 定 方 程 组 并 使 用 第 8 章 所 述 
的 最 小 二 乘法 。 

8. 由 iid. 符号 组 成 的 数据 流 加 到 一 个 二 进 制 相 移 键 控 (PSK) 系统, 得 到 的 调制 信号 x(n) 
加 到 某 一 脉冲 响应 未 知 的 线性 信道 。 常 模 数 算法 !( 即 p =2 的 Godard 算 法 ?用 来 进行 信道 育 
均衡 。 试 做 如 下 工作 : 

(a) 画 出 误差 信号 e(n) 对 于 均衡 器 输出 y(n) 的 曲线 图 。 
(b) 假设 使 用 信号 误差 型 CMA, MHE e(n) 的 分 段 近似 曲线 。 
(ce) 用 公式 表示 CMA 及 其 信号 误差 型 。 
[提示 :可 参考 本 章 注 释 关 于 符号 误差 CMA 的 主要 描述 。] 
9. 在 发 射 宙 使 用 四 相 相 移 键 控 (QPSK) 的 条 件 下 , 重 做 习题 8。 
10. 本 题 的 条 件 与 习题 8 相同 ,不 过 我 们 现在 使 用 抖动 符号 误差 型 CMA 来 处 理 实 数据 。 此 
后 ,将 它 简称 为 DSE-CMA( 参 见 本 章 第 16.6 节 脚 注 )。 这 个 新 算法 可 用 更 新 方程 表述 为 


win + 1) = win) + putn)[asgn(r(n))] 





式 中 
p(n) = e(n) + ae 
e(n} = y(n}( R; 一 y*(n)) 
这 里 use WR, 都 是 正 的 常数 ,s(z) 是 附加 的 抖动 。 持 动 的 样 值 在 区 疝 [ - 1,1] 上 是 
i.i.d.。 此 外 ,根据 量化 理论 , 算 子 asgn(v(n)) 等 效 于 一 个 两 级 量化 髓 
A/2 对 于 vin} So 
MV ge we ee 
式 中 ,对 于 量化 器 输出 y(n) 的 相关 部 分 ,A=2a Mazle(njl. 
(a) 给 定 y(n) ,证 明 条 件 期 望 "(m) 等 效 于 传统 CMA 中 误差 信号 e( mn) 的 硬 限 幅 形式 
a 对 于 rin) > 0 
Elv(n)ly(n)] = gem gr balsa 
-g 对 于 ela) = a 
(b) 对 于 e =2, 面 出 (a) 中 所 得 绪 果 的 曲线 。 
11. 数字 通信 系统 的 发 射 机 使 用 QPSK, 它 由 i.i.d. 符 号 组 成 的 数据 流 驱动 。 已 调 信号 加 到 未 
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知 脉冲 响应 的 线性 信道 。 现 用 Shalvi-Weinstein 均 衡器 进行 信道 育 均 衡 。 其 设计 基于 如 下 
代价 函数 
了 = Ely] ZARF EJP] = 2 


AF y(n) 是 均衡 器 的 输出 ,vo 是 信 源 数据 序列 的 方差 。 

(a) 证 明 Shalvi-Weinstein 准 则 实际 上 就 是 p =2 时 的 Godard 准 则 ， 

(b) 更 准确 地 证 明 , 在 无 噪 信道 的 条 件 下 ,Shalvi-Weinstein 代价 函数 的 极 小 点 与 Godard 代 价 
函数 的 极 小 点 相同 。 

[名 示 ;以 概 坐 标 形式 重 写 抽 头 权 值 , 即 一 个 单位 范 教 向 量 乘 以 某 一 径 向 标 度 因 于 ,而 后 ， 

Godatd 代 价 函 数 相 对 于 径 向 标 度 因子 进行 最 优化 。] 


. 线性 通信 信道 用 分 数 间 隔 Bussgang 均 衡器 的 代价 函数 JW) 由 式 (16.116) 定 义 。 试 推导 该 


代价 函数 。 
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前 面 章 节 着 重 讨论 了 两 大 类 自 拓 应 线性 滤波 器 , 即 最 小 均 方 (LMS) 滤 波 器 和 递归 最 小 二 
乘 (RLS) 泪 波 器 。 滤 波 器 中 的 “线性 "这 个 术语 是 从 结构 意义 上 讲 的 ,因为 这 两 种 滤波 器 都 是 
以 线性 组 合 器 或 格 型 预测 器 为 基础 导出 的 。 本 章 ,我 们 给 出 基于 前 馈 型 神经 网 络 [ 称 为 多 层 感 
知 器 (MLP, multilayer perptron) 2] 的 非 线 性 自 适 应 滤波 器 的 一 个 导 引 性 论述 。 

从 自 适 应 滤波 的 观点 来 看 ,对 神经 网 络 的 研究 兴趣 是 由 其 通过 监督 学 习 能 够 逼近 未 知 非 
线性 输入 输出 映射 的 能 力 激 起 的 。 当 产生 输入 信号 :例如 诸 音 信和 号) 的 基本 物理 机 制 是 固有 非 
线性 时 ,神经 网 络 的 这 一 特性 将 特别 有 用 。 


17.1 S 形 神经 元 模型 


神经 网 络 是 由 基本 单元 构成 的 并 行 处 理 器 。 我 们 发 现 , 神 经 网 络 中 的 这 一 基本 单元 与 生 
物 神 经 元 很 相似 , 故 将 该 基本 单元 称 为 人 工 神经 元 ,简称 为 神经 元 。 有 和 鉴于 此 ,我 们 从 描述 神 
经 元 的 一 个 通用 模型 ( 称 为 $ 形 模型 ) 出 发 ,开始 讨论 神经 网 络 。 
图 17.1 给 出 这 一 神经 元 模型 的 结构 。 为 了 便于 描述 ,我 们 将 这 个 神经 元 标 为 i。 这 个 模 
型 的 两 个 功能 块 如 下 ; 
1. 线性 组 会 器 ” 它 由 连接 到 输入 端的 一 组 权 值 (可 调整 的 参数 ) 构 成 。 为 了 简单 起 见 , 在 
图 中 用 标 有 符号 wj 的 方向 第 头 来 表示 某 个 权 值 。 这 一 线性 合并 器 还 包含 一 个 用 b, 表 
示 的 偏 置 。 这 一 偏 置 可 取 正 数 ,也 可 取 负 数 。 
2. 激活 取 数 ” 它 紧 跟 在 线性 组 合 器 后 面 。 激 活 函数 用 ? 表示 , 它 不 仅 是 非 线性 的 而 且 是 
无 记忆 功能 的 。 








O SEAH MLP) ch Bi it ee R HE BE PBK (RBF, Radial-basis function} 网 络 为 男 一 种 形式 (Haykin， 
1999) 的 前 铀 神经 网 络 。 二 者 之 间 的 差别 可 归纳 如 下 : 
(i) 径 向 基 码 数 网 络 是 单 隐 层 网 络 , 而 多 层 感知 髓 可 以 有 一 个 或 名 个 隐 层 。 
Gi) 表征 RBF 网 络 有 隐 单 元 的 核 (kemel) 由 如 下 吴 数 ,例如 高 斯 畏 数 


下 一 至 + 
g(x; x,) = exp( i | ) i= 1,2,..., M; 





da? 


来 定义 , 式 中 x+ 是 输入 向 量 ,x; BH BED, Mo? 是 基 一 共同 带宽 。 于 是 ,由 af 个 隐 单 元 RBF 网 络 实 


现 的 输入 输出 映射 定义 为 
Mi 
¥ = 2, wola; x) 
与 之 相对 照 ,表征 MLP Pass Rae cB E h in T AR, MAN logialie A 
1 o 
ox: x,) = 1+ exp(—x?x) i= 1, 了 ， Afi 
来 定义 。 


Gi) 径 向 基本 数 网 络 是 一 个 局 部 (local) 通 近 器 ,而 宁 层 感知 器 是 一 个 全 局 {jobal) 带 近 拓 。 
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Seth en ae ERE ROR ER 
图 17.1 A cS A ate) te 


因为 激活 函数 是 $ 形 的 ,所 以 通常 将 它 称 为 $ 形 男 数 ,其 图 形 如 图 17.2 Bas. PACH ay 
将 图 17.1 所 示 的 神经 元 模型 称 为 S 形 神经 元 (sigmnoidal neuron). i WUT PK o 是 logistic K 
数 由 ,可 表示 为 
1 


t = 
ginet) = + anne) (17.1) 





式 中 "net 表示 线性 组 合 器 的 输出 , BE 
net; = > wy, (17.2) 


AP x, 是 第 i 输入 端的 输入 信和 号。 从 式 (17.1) 中 可 以 看 到 


i net; = co 
g{net,) = 5 net, = 0 (17.3) 
0 net; = 一 De 
#(uet) 











-0 -8 -6 -4 -2 @ 


图 17.2 SEANEM 


D 17.2 RAY SE EY. A ET EA, SH BR 
ET A EK, tH PTR EAEI PS RR AAT RN A RB, R h E 
BR, EEA 


1 
pinet) = tanh ( net, 


1 一 exp{—net,) 
~ 1 + exp(-net,) 
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我 们 通常 用 反 向 传播 (BP, back-propagation) 算 法 来 训练 多 层 感知 器 。 上 反 向 传播 算法 是 一 种 广义 
的 LMS 算法 。 我 们 将 在 第 17.3 节 介绍 反 向 传播 算法 的 推 吕 过程。 导出 反 向 传播 算法 的 必要 
条 件 是 激活 函数 p 关于 变量 net, 连续 可 导 - 式 417. 世 中 的 S 形 激活 函数 满足 这 个 条 件 , 它 关 
于 变量 net, 的 导数 的 推导 过 程 如 下 式 


exp(—net,) 
(1 + exp(—net,))? 
= p(net\(1 - o(net,)) (17.4) 
式 中 第 一 行 中 的 符号 “" 表 示 求 导 。S 形 激活 函数 在 ner = 0 处 的 斜率 最 大 。 





17.2 多 层 感知 器 


多 层 感 知 器 (MLP, multilayer perceptron) 是 一 种 由 一 个 输入 层 ,一 个 或 多 个 隐 层 和 一 个 输出 
层 组 成 的 神经 网 络 。 输 入 层 的 节点 称 为 源 节点 ,它们 只 起 连接 作用 ,没有 计算 功能 。 隐 层 利 输 
出 层 的 节点 都 具备 计算 功能 , 故 称 为 计算 节点 或 神经 元 。 源 节点 为 输入 信号 的 应 用 提供 物理 
接 入 点 。 隐 屋 的 神经 元 起 “特征 检测 器 "的 作用 ;这 些 神经 元 由 于 物理 上 不 直接 与 输入 端 或 输 
出 端 相 接 , 故 称 为 隐 神 经 元 或 隐 节 点 。 输 出 层 的 神经 元 对 某 一 用 户 给 出 网 络 响应 输入 信号 所 
达到 的 最 后 结果 。 图 17.3 着 出 由 一 个 输 人 层 (3 个 源 节点 ). 一 个 隐 层 ($ 个 隐 节 点 ) 和 一 个 输 
出 层 ( 单 个 输出 神经 元 ) 组 成 的 多 层 感 知 器 。 这 一 结构 有 如 下 两 个 明显 的 特征 : 


1. 多 层 感知 器 是 一 个 前 狗 网 络 ,在 这 个 意义 上 ,仅仅 通过 前 向 传播 ,输入 信和 号 就 在 网 络 输 
出 端 产生 一 个 响应 。 简 而 言 之 ,就 是 网 络 中 没有 反馈 。 

2. 图 17.3 所 示 的 网 络 是 全 连接 的 ,因为 网 络 中 某 一 层 的 每 个 节点 都 与 相 邻 层 的 每 个 节点 
相连 。 另 外 ,网络 也 可 以 仅仅 是 部 分 连接 的 ,因为 某 些 连接 可 能 委 失 。 局 部 连接 网 络 
就 代表 一 种 重要 的 部 分 连接 网 络 。“ 局 部 "意味 着 网 络 中 某 一 层 的 一 个 神经 元 只 连 到 
输入 信号 集中 的 一 个 子 集 。 


输入 层 的 源 节 点 数 由 产生 输入 信号 的 观测 (数据 ) 空 间 的 维 数 决定 。 输 出 层 中 的 计算 节点 
数 由 期 望 响 应 所 要 求 的 维 数 决 定 。 因此 ,设计 一 个 多 层 感知 器 ,涉及 以 下 三 个 问题 : 


1. 确定 隐 层 数 

2. 确定 每 个 隐 层 的 神经 元 个 数 

3. 确定 网 络 中 不 同 屋 神经 元 的 连接 权 值 {简称 权 值 ) 
前 两 个 问题 与 多 层 感 知 器 的 复杂 性 有 关 , 将 在 本 章 的 后 续 部 分 讨论 。 我 们 用 反 向 误差 传播 算 
法 来 解决 第 三 个 问题 。 有 些 文献 中 也 将 它 称 为 反 向 传播 算法 (BP 算法 )。 

在 下 一 节 中 ,我 们 将 推导 复 反 向 传播 算法 。 这 个 算法 可 以 处 理 复 信号 。 用 于 处 理 实 信号 
的 反 向 传播 算法 可 以 看 做 复 反 向 传播 算法 的 一 个 特例 。 
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图 17.3 合 一 个 隐 层 的 多 层 感 知 器 


17.3 复 反 向 传播 算法 


复 反 向 传播 ( BP) 算 法 4 是 复数 LMS 算法 的 一 个 推广 , 它 具 有 一 个 适当 选择 的 非 线性 激活 
函数 。 在 BP 算法 的 执行 过 程 中 ,信号 沿 两 个 方向 传输 ，; 


1. 前 向 传输 ”此 时 ,网 络 的 连接 权 值 是 固定 不 变 的 ,通过 使 网 络 服从 于 某 一 指定 输入 信 
号 集 来 计算 网 络 响应 。BP 算 法 的 前 同 传 输 类 似 于 LMS 算法 中 的 滤波 过 程 。 

2. 反 向 传输 ”此 时 ,要 对 连接 权 值 进行 调整 ,其 目的 是 使 误差 平方 和 形式 的 代价 阔 数 最 
小 化 。 特 别 地 ,我 们 首先 计算 输出 屋 误 差 信和 号 ,然后 通过 网 络 一 层 一 层 地 反 向 工作 ( 计 
算 误差 ), 直 到 涵盖 整个 网 络 。BP 算法 的 名 字 来 源 于 其 实现 中 误差 计算 的 反 向 特性 。 
BP 算法 中 的 反 向 传输 类 似 于 LMS 算法 中 的 自 运 应 过 程 。 


BP 算 法 的 推导 通常 是 对 实数 据 进行 的 (Rumelhar et al.,1986; Werbos, 1993; Haykin, 
1999)。 然 而 ,这 里 将 通过 首先 导出 复数 形式 的 算法 ,进行 一 个 不 同 的 过 程 。 此 处 ,关键 问题 是 
如 何 处 理 复 值 数 据 ” 这 种 情况 在 处 理 复 基带 数据 (诸如 和 雷达、 声 纳 和 通信 ) 时 常会 遇 到 。 解 决 


BR eee SFE AR (Clarke, 1990; Kim & Gum, 1990; Henseler & Braspenning, 1990; Leung & Haykin, 
1991; Georgiou & Koustougeras, 1992; Benvenuto & Piazza, 1992) 厅 各 自 独 立 的 研究 成 果 的 基础 上 发 展 起 溢 的 。 这 里 
ALPINA DEEA LARS EMA (LOR DSSS. SRS EMA - BAS 
FETAAEAHMEBRHREAA SH. 
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这 一 问题 的 方法 有 两 种 : 
L 输入 数据 集合 中 每 个 数 的 实 部 和 上 庶 部 当做 画 个 相 握 独立 的 项 分 别处 理 。 类 伏地 ,网络 
输出 每 个 数 中 的 实 部 和 虚 部 也 当做 两 个 相互 独立 的 项 分 别处 理 。 然 后 ,按照 常规 的 实 
数 形式 BP 算法 计算 网 络 的 连接 权 值 . 
2. 对 连接 权 值 研 复 值 ,然后 用 复数 形式 的 BP 算法 计算 网 络 的 连接 权 值 ， 
这 两 种 方法 是 等 效 的 (Haykin & Ukrainee，5993)。 设 所 期 望 的 映射 写 为 
z= z; + jo > o(2) = u(Z;, Zo) + jt(z;, Zo) (17.5) 
式 中 
(Z; Zo) > Hz Zo) 和 (Z1, Zo) 一 vz; Zo) (17,6) 
而 这 里 u Me ZEBRA z WLR, Pie Ao ORAM ER OR eA 
部 )。 于 基 , 两 个 实 值 前 馈 网 络 可 用 来 计算 结果 的 映射 ,其 中 一 个 计算 映射 的 实 部 , 另 一 个 计算 
映射 的 虚 部 。 然 而 ,使 用 复权 值 网 络 有 其 自身 的 优点 ,参考 图 17.1 所 示 的 线性 组 全 器 部 分 ， 
可 用 向 量 形式 写 出 其 标量 输出 
xtw = (x + jxo) (w, + imo) AnD 
= (xp w, + xowo) + j{—xGw; + xf wo) 
式 中 X=x + 是 复 输 和 向量,w = wi + jwo 是 相应 的 复权 向 量 ,而 为 了 便于 标记 ,和 省略 了 下 
标 ;i。 等 效 的 实 组 合 哈 亦 可 只 用 实 值 阿 量 来 构造 ,结果 为 
mpg Y |> Esta ue xiv + vg) (17.8) 
ug Yo 
式 中 权 值 矩阵 由 实 向 量 uj .no .Yi 和 Yo 组 成 。 式 (17.8) 中 产生 的 实 向 量 包 含 了 式 (17.7) 中 复 
输出 的 实 部 和 虑 部。 比较 式 (17.7) 和 式 (17.8) ,容易 看 出 


uU; ~= Wj ¥; = Wo 








Ug = Wo Fo = -Wr (17.9) 


因此 ,有 

由 一 一 Yo Ug =; (17.10) 
显然 ,实权 值 网 络 比 完全 需要 求解 复 映 射 问题 的 网 络 有 更 大 的 自由 度 。 通 常 , 实 值 学 习 算法 将 
所 有 的 权 值 当做 相互 独立 的 参数 ,然后 对 它们 进行 调节 以 使 代价 函数 ( 值 } 下 降 。 在 复 值 映射 
的 情况 下 ,存在 着 对 称 性 ,而 这 种 对 称 性 并 没有 被 实权 值 学 习 算 法 所 利用 {有 可 能 约束 权 值 ,使 
得 实权 值 之 辣 也 存在 对 称 性 。 然 而 ,通常 的 梯度 下 降 算 法 并 不利 用 这 个 信息 ,而 是 当 算 法 结束 
时 即 丢 弃 该 信息 )。 换 言 之 ,与 实权 值 网 络 相 比 ,复权 值 网络 给 出 十 分 节省 的 解决 方案 。 其 他 
的 考虑 还 包括 算法 的 收 敏 性 。 业 已 证 明 (Horowitz & Senne，1981), 复 LMS 算法 的 性 能 优 于 实 
LMS 算法 。 复 LMS 算 法 更 稳定 ,而且 其 均 方 收 敏 速率 几 平 是 实 LMS 算法 的 两 倍 。 因 为 BP 算 
法 是 LMS 算法 的 推广 , 故 可 推断 这 个 特性 也 会 保留 到 前 馈 神 经 网 络 中 。 


17.3.1 复 反 向 传播 算法 的 推导 
在 多 层 感 知 器 中 使 用 非 线性 函数 会 引出 这 样 一 个 问题 , 即 复 激 活 函数 应 采用 和 何 种 形式 ? 
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要 回答 这 个 问题 ,需要 考虑 复 变 量 的 可 微 哺 数 的 特性 。 一 个 其 有 李 个 计算 层 的 多 层 感知 器 如 
图 17.4 所 示 。 网 络 中 1 层 上 第 i 个 神经 元 的 输入 输出 关系 可 用 非 线 性 方程 表征 为 


M 
xh) = o( 


并 在 i+1 屋 第 i 个 节点 上 产生 输出 , 式 中 参数 b eM, ST EB RA +1 的 
一 个 连接 权 值 。 式 (17.11) 适 用 于 多 层 感知 器 的 所 有 神经 元 ,如 图 17.4 所 示 。 
误差 信号 定义 为 网 络 的 期 望 响 亦 与 实际 输出 之 差 。 特 别 地 ,对 于 第 i 个 输出 神经 元 ,有 
eln) = di — yn) i = 1,2, Ny (17.12) 
AP d, 是 输出 屋 第 i 个 节点 的 期 望 响应 , y(n) 是 输出 层 第 i 个 节点 的 输出 , ww 是 神经 网 络 
输出 层 ( 后 面 称 为 第 皮层 ) 的 神经 元 个 数 ,nm 表示 算法 选 代 的 次 数 。 由 网 络 产生 的 平方 和 误 善 
定义 为 代价 函数 


wey 十 Bro) 7=0.1 .4 一 1 (17,11) 
p=] 


1 Ny 1 Ny 5 
En) = 7 D amem) = 7 Dle) (17.13) 


BP FE Al FC ERK 1 ah as aS EL, AR RERE n) RAE. 
权 值 更 新 方程 为 


wiln +1) = wpn) + Awh(n) (17.14) 
权 值 以 正比 于 负 梯 度 的 方式 变化 。 式 (417.14) 中 的 更 新 项 为 
Awp (n) = -eVa eln) (17.15) 


式 中 pz 是 学 习 速率 参数 ,7 Cn) 是 代价 函数 €(n) 关 于 权 值 wy 的 梯度 。 我 们 首先 必须 求 


出 名 (n) 关 于 第 (MH -1) 层 的 复权 秆 的 偏 微 分 ,然后 将 它 推 广 到 所 有 隐 层 的 系数 。 代 价 函数 
名 (nn) 关 于 第 (MM - 1) 层 复权 值 的 梯度 定义 为 


Vo, Bla) = mE /ee (17.16) 
式 中 次 迭代 中 将 第 p 个 节点 连 到 (时 -DRR ;个 节点 的 复权 值 可 表示 为 
wh Yin) = win) + jwg (n) (17.17) 
式 中 下 标 1 和 0 分 别 表示 所 讨论 问题 中 复权 值 的 实 部 和 虚 部 。 此 时 ,输出 y(n) 为 
y = x") = onet{¥") (17.18) 
式 中 
net"? = net D) + jnetyy 
=- St + pt1) (17.19) 
设 plne"? Je AE YA BE IK, Hl 
glneti) = plnet;; + j netgi) 17.20) 


= u(net,;,netg,) + jo{net,;, neto) 
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图 由 .4 多 层 感知 器 各 层 信号 的 定义 


式 中 a MIEREA. RE MSR, Mee 














f dg(net,) 
pinet) = dnet, (87.21) 
u 和 vy 关于 内 部 信号 net Z A PA SRE ON 
, 2 
Bu ô netya 
, dt; 
“ot hetoi 
, av; | (17.22) 
Pu = Pnet; 
Al ， av; | 
Pe = anetg; 


FU, RAT PRR IE (nw ITE now 的 表达 式 。 利 用 微分 学 的 求 导 法 则 ， 
Bik 
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ve _ 06 du, Anet; du, Oneto, 
(it~ a iE > 
Dao ip du; \dnlet; ; dy in dneta, dey ip 
: (17.23) 
tr. _ oy, Inet, ; oy, netgi z) 
av, \anet,; OW ip J neto, aw, ap 
及 
aé mal au, Onet; p Aue; aioe) 
awhi 0 au; N2 Det; Hw, Neto; dps 
3 17 .24 
JE ( ay, dnetrs 4 ot “neta. ) € ) 
ov; ane, ; JY up d Reto aWy ip 
TAR neta w Fa Bl 
anet; ; gd Re h | 
= 一 一 一 一 Pa : + A f 
PWr op [Wrin trp + Woiptae + biij = xip (17.25) 
用 类 似 的 方法 ,可 求 出 式 (17.23) 中 其 余 的 偏 导数 。 总 缚 到 此 为 止 所 懒 的 工作 ,我 们 有 
ð nety, 
OF ip T *he 
anet, , 
OWe ip =. Xop 
dnety ; ? (17.26) 
= 49, p 
OW; ip 
和 a neto, APR 
DW ip Dp 
将 式 (17.22) 和 式 (17.26) 代 入 式 (17.23) 和 式 (17.24) ,可 以 得 到 
vE(n) dan) (ij WED 
aw T = an (he hp + HB ) 
a (17.27) 
n 
， „(M-11 M-i) 
z a tary PE + vp, Xp ) 
v 
ü Eln) _ deln) 
n dn 
ee ek ' (M-i (M-i) 
axl =i. aD (ui :X0\p Hg X hp ) 
i 
: g(n) {17.28) 
9 as 
av m- n GETI bis or 多 4) 


式 中 ,正如 前 面 提 到 的 ,符号 “" 表 示 微 分 。 至 此 ,对 于 网 络 中 M -1 ee F 


易 求 出 代价 函数 的 偶 导 数 如 下 


E 
an = -[d,; — ynka] = enla) (17.29) 


apt) = 一 [de， = yen) | = —eo(n) (17.30) 
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将 式 {17.27) 和 式 {17.28) 代 入 式 (17.16) 并 做 相应 的 简化 ,得 到 
déin) 


V SU) = nn “1 (af BO — jug) 
a: (17.31) 
eln) 11 «(Ml 
Pace (BY — jeg 
然后 ,将 式 (17.29) 和 式 (17.30} 用 于 式 (17.31) ,得 
VE Ela) = 一 [er — jaa) + eont jegal (17.32) 
从 而 , 式 !17.14) 的 权 值 更 新 方程 变 为 
wip a + 1) = wh PCa) + px Mn) ep (lays juga) (17.33) 
+ ég (nt net; 一 jv) l 
用 类 似 的 方法 ,可 以 导出 偏 曾 项 请 的 更 新 公式 。 它 可 以 表示 为 
Bin +1 = pit!) + pilnu — flo; 
( ) (n) + pjerndnyiġi 一 jug.) (17.34) 


+ eg, Any(v},, 一 jvo.)| 

模式 分 类 常常 要 求 一 个 从 多 维特 征 空间 到 一 类 标记 之 间 的 映射 。 例 如 ,属于 某 一 个 类 

的 特征 数据 被 训练 ,以 便 将 输入 数据 映射 为 神经 网 络 第 个 输出 节点 的 某 一 常数 。 对 于 这 种 

应 用 ,人 们 希望 使 用 一 个 有 界 的 非 线性 激活 函数 。 然 而 ,如 果 要 求 连 续 映射 ,如 在 非 线性 预测 

问题 ( 它 是 非 线 性 回归 的 一 个 例子 ) 中 , 则 建议 移 走 输出 单元 的 非 线 性 (函数 ) ,使 网 络 的 最 后 一 
层 作 为 线性 组 合 器 ;这 种 修改 使 得 网 络 的 输出 以 无 界 的 方式 变化 。 在 后 一 情况 下 , 令 


p{net,) = net, (17.35) 
其 偏 导数 为 
uy, = 1 
WO i = 0 
vy, = 0 (17.36) 
和 
Upi =] 
nial ue 
wht n + 1) = wh Cn) + px (ner (an) (17.37) 
这 就 是 人 们 熟悉 的 复 LMS 算法 。 


我 们 已 经 证 明 ( 并 -1) 层 (输出 层 )} 权 值 的 更 新 过 程 。 下 一 步 是 推导 更 新 隐 层 权 值 所 需 的 
关系 式 。 其 主要 思想 是 求 出 第 ! 层 误 差 与 第 (1 - 1} 层 谋 差 之 间 的 关系 。 用 这 个 方法 ,我 们 可 
以 反 向 传播 该 误差 , 即 从 输出 层 后 退 到 输入 层 ,一 层 一 层 地 反 向 传播 误差 。 

按照 多 层 感知 器 中 和光 层 重 新 表述 式 (17.27) 和 和 式 (17.28), 可 以 得 到 代价 本 数 惫 (nn) 关 于 
(M -2) 层 权 什 的 偏 导数 

agin) ae(n) 


(a DY a m3) (urato 


2) (M-2) 
Jw ) 


+ HG 
{17.38) 





deln) 
[Af ~—2) (M—2} 
opa iath + voixop ) 
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aé(n) eln) 





























一 时 -2 (iM D) 
awit T agit) Hiiop Uy Xp p 
„ip i 
(17.39) 
wav le! IM-2) oy  „(M-2) 
aul ay AEL YO p Voi*ip ) 
应 用 微分 学 中 的 链 式 法 则 ,可 以 得 到 
d€(n) > eln) (a (4-1) anetra auti) Peres) 
uD A pup Vanet,, op anety, au!) 
| (17.40) 
s d€(n) fai) anet,, — auf") aneto, 
+ Doar lane ma + 5 (M—2} 
k UE Nery x aut t nety wx ate; 
到 
séin) 5 aé(n) faut TY anet, , A et | 
aul 2) eau) \anet;, avi") aneto g at” ( 
17.41 
+ Bln) (z onetjye goU ones 


之 avi!) Vanety, avi’? ð netga aa P5 


FESR (17.40) FIER (17.41), EARE BO TAER M - 1 层 的 偏 导数 表示 的 。 我 们 
只 需要 确定 


nett") = S wp V ofn») 十 be) 
i 


M-2). (M—1 M2), (M— M- 
= Du wh? + wt won + byt) (17.42) 
+ p? (M= D L py — BMY) 
J; wj ti WO. ki O,k 


LTB ACR M - 2) u sane 将 这 些 偏 导数 汇总 在 一 起 ,我 们 有 








aneti wM- D 
uM T W) k 
a net! met 
MD T WO, ki 
Pa ~ WO ki 
和 M- 
a neti" O M-n 
ayta ~ WF ki 
将 式 (17.43) 代 入 式 (17. 和 0} 和 和 式 {17.41) , 则 可 表示 感 兴趣 的 偏 导数 为 
igin) eln), E ， 
M-A = > a 7 ui Dap Me LE "ya ole?) 
i k 
T ) (17.44) 
n 


NM~1), (1 AM—1), (afi 
+ > yt TA) (at hy ( Me t vo wh a )) 
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én) = oan) (ui p gi Tapih 1 
= LMAO 2) 7 a M-L} hk a Wk -i RE 
pe" 2] < dui" lj Gaal 名 i 





AS, (17.45) 
© EMP M-i) {M-11 (M-1} 
+ 之 Jol (oik wga + vgk Wru ) 

`k 





AERAR AAEN — PR A PR) SE RRR A LA A RRE T LA E E 


dtfa) «dF e(n) 
aul?) J gut) 
i i 


-gal 
3 


RPR "的 变量 是 (时 -DEE E., 

运用 归纳 法 ,可 将 这 一 关系 推广 到 多 层 感 知 器 的 其 余 隐 层 。 式 (17.46) 给 出 误差 从 输出 层 
反问 传播 到 第 一 个 隐 层 的 方法 ， 在 确定 了 特定 层 的 强人 n)Az MIE nav 之 值 后 , 式 (17.31) 

给 出 该 梯度 值 ,从 而 权 值 更 新 值 . 


17.3.2 复 值 激活 函数 


将 BP 算法 应 用 到 复数 域 时 , 肌 到 的 困难 之 一 是 激活 卫 数 的 合适 选择 。 由 于 函数 的 奇异 
性 ,将 S 形 函数 直接 从 实数 域 推广 到 复数 域 是 不 合适 的 。 者 用 z 作为 式 (17.1)logistic 函数 的 
复数 输入 ,得 到 








tln) (ul, + jua) + dtfn) (17.46) 
u ul 一 一 一 一 
EM 了 Gu!) 





(vj, + joo) 








1 
tae soo MF 2=—t/(2k + l)n, 大 为 任意 整数 (17.47) 


WTS RRA BRR EA, PW ASR BAHASA E , F 
EZH HEARE., WE LT 1 Se RRA AAT, AT Se eh YT EH A elip- 
ping) 的 兆 界 输出 。 因 此 , DA eae oe a RE 

为 了 有 助 于 用 反 回 传播 算法 训练 多 层 感 知 器 , Georgiou 和 Koutsougeras(1992) 导 出 了 复 激活 
贡 数 必须 满足 的 一 组 特性 。 这 些 特性 可 以 归纳 如 下 ，; 


1. 激活 函数 gp(z) 应 该 是 复 变 量 z 的 实 部 zo 和 虚 部 z 的 非 线 性 卫 数 ;否则 ,多 层 感知 器 就 
没有 优势 可 言 。 线 性 多 层 感 知 器 总 可 以 缩 为 一 个 等 效 的 单 层 网 络 。 使 用 多 层 感 知 髓 
的 动因 是 得 到 一 种 非 线 性 网 络 , 以 便 能 够 更 近 比 线性 网 络 范 围 更 广 的 一 般 晃 数 集 。 

2. 激活 函数 gw(z) 应 该 有 界 。 多 层 感 知 器 前 向 传输 的 计算 要 求 其 有 界 ,否则 网 络 会 发 生 

钳 位 或 数值 溢出 。 

. 激活 函数 of) ie PRT EER AR. BAY BrP Re RIE Le Se a 
新 多 层 感知 器 的 复权 值 , 所 以 偏 导数 也 必须 有 界 。 

, 激活 函数 gp(z) 不 应 该 是 复数 域内 处 处 解析 的 整 函 数 (entire funetion)}。 若 一 个 请 数 在 点 
ww 的 某 个 邻 域内 可 微 ,我 们 就 说 该 函数 zy 在 点 zg 是 解析 的 。 根 据 刘 维尔 定理 (Liouville 
由 sorem){ 见 附录 AA) 可 知 ,一 个 有 界 的 整 陌 数 是 常数 。 显 然 ,根据 性 质 1 ,一 个 整 葬 数 不 宜 
TEBE pa RX. 


td 


心 
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5. 代价 函数 名 (nn) 的 偏 导数 应 该 满足 下 列 条 件 , 即 
renee 
为 了 满足 这 个 条 件 , plz) 的 偏 导数 不 应 该 满足 关系 式 uoo = ugo WEH x,(n) 40 
时 式 (17.31) 的 实 部 和 虚 部 同时 为 0, 则 这 个 关系 能 够 满足 。 苦 激活 函数 的 偏 导 数 满足 


这 一 关系 , 它 将 意味 着 当 非 零 输 人 和 非 零 误 差 都 出 现时 ,有 可 能 Y 另 =0, 从 而 网 络 达到 
了 一 个 稳定 点 。 因 为 权 值 更 新 正比 于 梯度 值 , 故 此 时 网 络 不 继续 学 习 。 


17.5 和 图 17.6 示 出 两 种 可 供 选 择 的 激活 函数 。 图 17.5 表示 由 Benvenuto 和 Piazza 
〈1992) 提 出 的 复 激 活 函数 。 它 是 实 部 和 虚 部 $ 形 函数 的 得 加 , 即 


e(z) = (17.48) 


ee ae es 
1+ exp(-kz,) 7] + exp(—kz;) 
式 中 z, 和 z 分 别 是 z HAAR. 


Re{¢(z)} 





\p(z)| 





z= 2, + jz; 
图 17.5 激活 函数 g(z) = cite ** )+jci(l+e RR EA) MOC BB) 
另 一 种 激活 函数 由 Georgiou 和 Koutsougeras(1992) 提 出 。 正 如 从 图 17.6 中 看 到 的 那样 , 它 
也 很 像 S 形 函数 ,可 表示 为 
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Fd 
Az) = vel (17.49) 


这 个 函数 将 z 域 映射 为 一 个 开 圆 | z1 < r, 所 以 该 函数 可 有 效 地 将 19(z)1 的 取 值 范围 压缩 在 
[0, 站 区 闻 内 。 





\e(z)) 





Zi 


z= 2, + jz 
图 17.6 激活 函数 g(x) = ale + {11r)iz1] 的 实 部 (上 图 ) 和 旺 值 (下 图 ) 


既然 我 们 已 经 认同 复 激 活 孙 数 的 选择 方法 , 则 可 通过 总 结 其 应 用 中 所 涉及 的 重要 步骤 ( 列 
于 表 17.1 中 ) 而 结束 对 它 的 讨论 。 


17.1 得 反 向 传播 算法 小 结 





1. 初始 化 

置 所 有 权 信 和 偏 置 为 小 的 复 随 柄 信 
2. 表示 输入 和 期 望 输出 

表示 某 一 时 间 的 一 对 向 量 :输入 向 量 x(1) ,x(2),,..， X(N) 与 对 应 的 期 望 输出 4(1) ,4(2),.. .dCN) 
3. 计算 实际 输出 

利用 图 17.4 中 的 公式 计算 输出 信号 Fis TY2+-.-. 1 Yny 
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(eR) 





4. ALE A EAS BB 
dé(n) 


_ oy iEn) 
Aw! Yor) = - px Dem wh 1 (ui, ~ jut) + 


aol! It (a, ~ ing.) ) 
A tr) 
i he T ivo) 


aih 


délin} ， | 
att |! (ui, 一 jtë] 十 





Ab {n} = -a 
其 中 





miae of 8), aB), ee 
du Fay D Beet ar lat + oad) toy (ha + jeu HISIM 
t T k GEH dey 


Eln} a(n) suo 对 i=M | 


这 里 zfny = 第 = 次 选 代 第 p 个 节点 的 输出 





17.3.3 动量 项 的 引入 


通过 在 网 络 权 值 更 新 公式 中 加 人 一 个 动量 项 (Fumelhart et al. ,1986) 可 加 速 反 向 传播 算法 
的 学 习 过 程 。 于 是 , 式 (17.15) 中 定义 的 网 络 第 1 层 的 连接 权 值 wi (nh E Awt (n) 

改 为 
Awip ln) = adwy)(n ~ 1) 一 HVE(n) (17.50) 


AP a RAMRBER Aw, (n- 是 前 一 次 的 修正 值 。 如 前 ,wz 是 学 习 速 率 参 数 。 

动量 的 使 用 引 人 了 一 个 基于 Aw)? {nn) 的 反馈 环 路 。 这 一 环 路 会 对 反 向 传播 算法 的 学 习 
特性 产生 十 分 有 益 的 影响 。 特 别 地 , 它 有 助 于 防止 学 习 过 程 陷 入 多 层 感 知 器 谋 差 性 能 曲面 的 
局 部 最 小 点 (Rumelhart et al., 1986; Haykin, 1999), 


17.3.4 实 参数 反 向 传播 算法 


反 疝 传播 算法 的 通常 推导 是 针对 实数 据 和 实 参数 的 。 现 在 证 明 它 只 是 更 一 般 的 复 反 向 传 
播 算法 的 一 个 特例 。 
我 们 着 手 考虑 所 有 参数 (包括 输入 和 期 望 输出 数据 ) 都 是 实数 的 情况 。 根 据 复 值 神经 网 
络 ,二 次 分 量 都 取 为 零 。 将 这 个 条 件 用 于 式 (17,23) 和 式 (17.24), 容易 看 出 只 有 第 一 式 率 存 ， 
从 而 有 
a€ d€ ou; dnet, 
IW;p ~ dit; 9 net, dwn 
注意 ,因此 时 不 再 考虑 信号 的 正 交 分 量 , 故 式 中 略 去 了 变量 的 同 相 标记 7. eih, Me u 
的 地 方 ,都 用 下 式 代 替 , 即 





(17.51) 





g(net;) = u{net,, 0} (17.52) 
由 此 可 以 得 出 
, ) = , _ 
g'(net,;) = uji = jnet,, (17.53) 


于 是 , 式 (17.51) 可 以 改写 为 


598 自 适 应 滤波 器 原理 





t at  de{net,) a net, 


dw;,, Ag{net;) dnet, wp 


HERAN p(net} 可 以 是 任意 的 有 界 、 可 微 . 单 调 增 聘 数 。 式 (17.1) 中 定 尺 的 logistic 函数 通常 
DOW SHE eae. 
我 们 现在 定义 -一 个 新 的 变量 





(17.54) 


géin) 


ti-1) eee eer ee 
a ae ð net Y 
ft 


(17.55) 


RST He eR a AHRR, aT h 
aé dg(net,) z 
öşfnet;}) dnet, 
RPS MES AUS Rahat. MATAR E el <M) ,我 们 有 
8! h(n) = (net!) D walna (n) (17.57) 
变量 8 被 看 做 反 向 传播 误差 项 , 它 从 输出 层 开 始 ,递归 地 ( 反 向 ) 计 算 多 层 感知 器 的 每 一 层 。 


表 17.2 汇 总 了 实 反 向 传播 算法 的 主要 步 又。 注意 ,在 这 里 动量 项 也 可 用 类 似 于 复 反 问 传 
播 算法 的 方式 被 引进 。 


sn) = — emnett Je (n) (17,56) 








$% 17.2 实 反 向 传播 算法 小 结 


1. what 
EETA A EY h RL 
2. 表示 输 人 和 期 望 输出 
表示 某 一 时 间 的 一 对 向量: 输 人 疝 量 x1) ,x(2),...， LARREA dL) (2)... dN) Hop Nie 


训练 的 总 模式 数 
3. 计算 实际 输出 
利用 图 17.4 的 公式 计算 输出 信号 fisy- Yny ‘ARTA BS 
4. 权 值 和 偏 是 的 自 适 应 
Awl Mtn) = axel Mtn) 
ABE DEn) = pat Hin) 
其 中 


(net!) [d,— y(n)] 15M 
ay }= , diy {fi =< 
vnet t) D wda ISAM 
È 


这 里 a(n) = 第 sn 次 选 代 第 j 个 节点 的 输出 





17.4 万 能 逼近 定理 


用 反 向 传播 算法 训练 的 多 层 感 知 器 为 逼近 一 般 特 性 的 输入 输出 非 线性 映射 提供 了 一 种 强 
有 力 的 手段 。 这 里 要 讨论 的 一 个 关键 问题 是 :为 了 使 设计 的 多 层 感知 器 以 一 致 方式 进行 均 近 ， 


HIE Ayes ta 599 


需要 多 少 个 隐 层 ? BA SEA OAT PEE, CTR GT : 
Rf RR -PERR AR SORA BH, OI REN 维 单位 超 立 方 体 。 用 
C ARE h HERAK, TR BSR EE BK /EC( Ts ) 利 一 个 常数 


e>0, 则 存在 一 个 整数 WwW 和 一 组 实 常 数 o.b, Mw, (i= 1,2,....N, Mp al,2,..., 
No) ,使 得 我 们 可 定义 


N, R 
F(a, Hy,..., tiy) = Yael > tn + h} (17.58) 
ae 


MEDRAR fA — MERRIE, BOA FEAT AY usua ooa ta, ie 14, 该 近似 的 绝对 值 满足 
如 下 条 件 


1 <E 
万 能 有 逼近 定理 可 直接 应 用 于 具有 下 列 特 性 的 多 层 感 知 器 : 
© 由 N 个 节点 组 成 的 给 入 层 ,其 给 入 信号 表示 为 diaas.. ,x 


9 由 Ni 个 S 形 神经 元 组 成 的 单 隐 层 , 其 第 i PURSE to, was. ,Wn 
o 巾 一 个 线性 神经 元 组 成 的 输出 层 


注意 到 ,万 能 逼近 定理 是 一 个 存在 性 定理 。 在 这 个 意义 上 , 与 某 一 精确 表示 相 比 ,该 定理 
为 任意 连续 函数 的 允 近 提供 了 数学 证 明 。 和 作为 该 定理 核心 的 式 (17.58) 仅 仪 推广 了 有 限 伟 里 
叶 级 数 的 通 近 。 实 际 上 ,该 定理 指出 ,一 个 单 隐 层 多 层 感知 器 已 经 足以 实现 由 输入 信号 集 x, 
r++ oy, 和 期 望 (目标 ) 输 出 fx,*;，... ,xv ) 所 吾 示 的 某 一 给 定 训练 集 的 一 臻 逼近 。 内 


此 ,从 理论 的 观点 ,万 能 逼近 定理 具有 重要 的 意义 。 设 有 这 一 定理 ,我 们 可 能 还 会 继续 搜索 一 
个 并 不 存在 的 解 ,. 然而 ,这 个 定理 并 没有 涪 , 在 学 习 时 间或 易于 实现 的 意义 上 单 隐 层 是 最 佳 
的 。 

从 实用 的 观点 , 单 隐 层 多 层 感 知 器 存在 的 问题 是 隐 层 神经 元 易 引 起 相互 作用 。 在 复杂 的 
情况 下 ,这 种 相互 作用 使 得 很 难 做 到 既 改 进 某 个 点 的 逼近 ， 又 不 恶化 其 余 点 的 性 能 。 忆 一 方 
面 , 带 有 两 个 或 多 个 隐 层 的 多 层 感知 器 ,其 逼近 (曲线 拟 合 过程 可 能 会 变 得 更 易 控 制 (Ches- 
ter，1990)。 因 此 ,在 解决 大 规模 的 复杂 问题 时 ,推荐 使 用 带 有 两 个 或 多 个 隐 层 的 多 层 感 知 器 。 


17.5 网 络 复杂 性 


为 了 用 多 层 感 知 器 解决 实际 问题 ,通常 要 求 使 用 大 规模 高 度 结 构 化 的 网 络 。 在 使 用 过 程 
中 产生 的 一 个 实际 问题 是 , 如何 使 网 络 规模 最 小 化 ,同时 又 能 保持 良好 的 性 能 。 作 为 一 般 的 原 
则 ,最 小 规模 的 神经 网 络 不 大 可 能 学 习 训练 数据 中 的 特质 或 噪声 从 而 能 较 好 地 推广 到 (未 经 训 
练 的 ?新 数据 。 汉化 {generalization) 这 一 源 于 心理 学 的 术语 涉及 神经 网 络 的 能 力 , 妇 学习 训 练 
数据 中 基本 信息 内 容 以 便 获得 取 自 相同 输入 空间 但 训练 时 未 被 使 用 的 测试 数据 中 “合适 "性 能 
ROBES o 





——— --— 


(D Cybenko , Funahashi 和 Homik 等 在 1989 年 分 别 独 立地 导出 了 万 能 逼近 定 埋 , 
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48 28 A A EST Be LA BH. 
ORM BAK pha MBER AD ee RSE he aE a TE eR ES. LEW 
ASE atte SERA A -hT -a RE. 
MB aR ”此 时 从 一 个 具有 适当 性 能 的 天 规 异 多 层 感 知 器 出 发 完成 现 有 任务 ,然后 通 
过 有 选择 或 按 顺 序 邮 删除 一 些 不 可 靠 的 连接 梳 值 的 方式 来 缩小 网 络 规模 。 
尽管 这 两 种 方法 都 用 在 实 水 中 ,但 可 以 肯定 地 说, 在 目前 的 实 乓 应 用 中 国 络 截 取 更 流行 。 
本 节 , 我 们 将 阐述 所 谓 权 值 删除 方法 (和 Weigend et al., 1991), EE HIY T Rih Ata 
E ow, LAR RLS 
Riw) = E(w) + at(w) (147.59) 
最 小, 式 中 第 一 项 各,(w) 是 标准 性 能 浏 度 , 它 到 决 于 网 络 { 模 型 ) 和 输入 数据 。 在 反 向 传播 学 习 
中 ,通常 将 名 ,{Ww) 定 义 为 均 方 误差 ,其 计算 遍布 网 络 的 输出 神经 元 并 对 上 所 有 的 训练 数据 进行 。 
POME, (w EERE ERRATA ORA) €o EHAR TE AEE., 
在 权 值 删除 法 中 , 复 休 度 惩罚 定义 为 
(w/w) 


ae: 17.60 
rt + eww) 人 ) 





éw) = 


AP wu, 是 该 方法 指定 的 一 个 自由 参数 ,w, 表示 网 络 的 第 i 个 连接 权 值 。 和 集合 上 表示 网 络 的 所 

有 连接 。 各 个 惩罚 项 以 对 称 的 形式 随 w/w, 的 变化 而 变化 ,如 图 17.7 所 示 。 我 们 应 该 区 别 对 
待 两 种 不 同 的 限制 条 件 : 

© Himla w, 时 ,对 第 i 个 权 值 的 复杂 度 逢 罚 (代价 ) 趋 于 零 。 这 个 条 件 意味 着 ;就 人 们 

所 关心 的 基于 训练 数据 的 学 习 而 言 , 第 i 个 连接 权 值 是 不 可 靠 的 ,因此 应 该 将 它 从 网 络 


中 删除 。 

e Hilwa w, 时 ,对 第 守 个 权 值 的 的 复杂 度 惩罚 (代价 ) 趋 于 最 大 值 1, 这 意味 着 w 对 于 
反 向 传播 学 习 过 程 是 很 重要 的 。 

(io 


1 + Cw wo}? 


+ 1.0 





wy 





a Wa 


图 17.7 ARIETA 
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式 (17.59) 中 的 参数 AIRE, HASSE, RBS URRY, E 
种 情况 下 ,网 络 完全 由 第 17.3 节 中 所 述 的 复数 和 实数 形式 的 训练 数据 所 决定 。 相 上 反 , 当 4 趋 
于 劾 鹤 大 时 ,由 复杂 度 惩 罚 所 加 的 约束 自身 就 足以 确定 该 网 络 。 这 从 另 一 方面 说 明 丁 该 训练 
数据 是 不 可 带 的 ,因而 应 该 忽略 。 在 权 值 截 皮 方法 的 实际 应 用 中 ,正则 化 参 狂 为 介 于 这 两 个 极 
限 值 之 闻 的 某 个 值 。 

因此 ,从 展 助 于 反 向 传播 算法 设计 的 才 层 感知 器 出 发 ,选择 一 个 适合 于 研究 中 特定 任务 的 
正则 化 参数 1 ,网 络 就 通过 使 式 (17.59) 定 交 的 总 风 隘 由 (WwW) 明 小 方式 来 截取 ， 显然, 最 小 化 过 
程 中 的 计算 量 与 网 络 规 借 密切 相关 。 当 然 ,最 终 吓 怀 是 使 网 络 复杂 度 与 用 于 网 络 训练 的 物理 
Be Het rr Be WS AR RE RELA, 


17.6 上 退 恋 处 理 :如 何 考 虑 “时 间 ” 


如 图 17.3 所 示 的 常规 多 层 感知 器 结构 ,很 适合 于 自 适应 空间 滤波 (如 波 东 形成 )。 为 了 将 
这 种 神经 网 络 应 用 推广 到 自 适 应 瞬 态 滤波 (如 问 首 消 除 ) FES RM CAS YHA 
面 。 为 此 ,有 以 下 四 种 不 同方 式 (Haykin, 1999): 
1. 在 多 层 感知 器 输入 层 中 以 抽 头 延迟 线形 式 岩 人 一 个 得 时 存储 结构 ,由 此 得 到 的 网 络 称 
为 集中 时 延 前 馈 网 络 {TLFN focused time-lagged feedforward network}, 
2. 将 时 延 引 入 多 层 感知 器 内 ,在 网 络 中 一 层 一 层 地 癌 前 拓展 ,使 得 隐 层 和 输出 雇 神 经 元 
壬 时 重复 ;得 到 的 网 络 称 汶 时 延 神经 网 络 (TDNN, time-delay neural network) o 
3. 用 有 限 脉 冲 响应 (FIR) 滤 滤器 代替 多 屋 感知 器 中 的 权 值 ,由 此 得 到 的 网 络 称 为 分 布 式 
时 延 前 馈 网 络 (TLFN ,distributed time-lagged feedforward network)。 
4. 在 围绕 多 层 感 知 散 中 应 用 反馈 ,在 网 络 中 一 层 一 层 地 向 后 返回 ;由 此 得 到 的 网 络 称 为 
递归 多 层 感 知 器 (RMLP, recurrent multiplayer perceptron) o 


此 处 ,把 我 们 的 注意 力 集中 于 第 1 种 网 络 结构 上 。 
考虑 图 17.8, 它 是 图 17.3 中 的 简单 多 层 感知 器 的 再 现 ,但 具有 一 个 嵌 人 在 输 人 层 的 抽 头 
延迟 线 。 用 u(n) 表 示 输 人 信号 , 则 这 个 网 络 可 以 写 为 


x? = ay = a(n) 








xP = w = un 1) 
和 
x) =#,=u(n— 2) 
对 于 有 M 个 信 源 节点 的 多 层 感知 器 ,推广 这 个 结果 ,可 继续 写 出 
x =u, sun- j) =01 有 -1 (17.61) 


有 了 这 些 按照 输入 信号 wtn}) 的 当前 值 和 过 去 值 定义 的 源 信号 的 关系 式 ,我 们 可 以 着 手 应 用 
表 17.1 的 复 反 向 传播 算法 或 表 17.2 所 示 的 实 反 自传 播 算法 。 特 别 地 ,多 层 感 知 占 的 权 值 可 
一 个 样本 -- 个 样本 地 调整 ,使 得 输入 数据 序列 ula), ulni), ,uln - Ny -1 产生 的 输出 
y(n) 与 相应 的 期 望 响应 d(n) 之 亲 的 误差 平方 最 小 化 。 给 定 尺 个 样本 组 成 的 一 个 样本 集 ( 它 
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属于 时 间 步 长 n= Ny Not)... K+ No - 1), 包 含 在 这 些 样本 中 的 信息 被 转移 并 存储 在 网 
络 的 连接 权 值 中 。 注 意 ,对 于 第 一 个 样本 ,选择 a = w 以 保证 网 络 输入 层 填 满 该 样本 的 输入 
数据 ,而 是 类 似 情况 也 发 生 在 所 有 相继 样本 中 ， 


输出 
六 号 
yín) 


YARN =1 





WARN) 
MAk 


217.8 Se PRAE AN A Pd 2 TLFN E E 


现在 ,我 们 如 何 确定 训练 数据 规模 的 大 小 昵 ? ARRE, PT , OR LE 
以 可 车 方式 工作 的 严格 的 公式 。 不 过 ,可 以 使 用 在 实践 基础 上 得 到 的 一 个 经 验 法 则 ;给 定 总 可 
RBA BATA ARE) 亚 , 训 练 数据 规模 的 一 个 合适 选择 是 = 10W 


17.7 上 反 向 传播 学 习 的 优点 和 局 限 性 


反 向 传播 算法 之 所 以 成 为 多 层 感 知 器 监督 训练 的 工具 (“woddherse”) ,是 因为 它 具 有 下 列 
优良 性 质 : 


1. 该 算法 提供 了 解决 信用 分 配 问题 (eredit-assignment problem) 的 一 种 巧妙 方 法 。 和 信用 分 配 
问题 是 指 隐 层 神经 元 承担 多 层 感 知 器 输出 层 所 测 误 差 信 号 应 尽 的 一 份 责任 。 尽 管 这 
些 神经 元 是 物理 上 不 可 接 入 的 ,从 而 无 法 利用 其 各 自 输出 的 期 望 响应 ， HERR AIH 
过 沿 着 网 络 一 层 一 层 地 反 向 传播 误差 信号 来 弥补 这 个 缺点 。 

2. 该 算法 的 计算 复杂 度 是 线性 的 ,因为 运算 量 ( 即 乘法 和 加 法 次 数 ) 是 以 多 层 感 知 器 中 可 
调整 参数 ( 权 值 和 偏 置 ) 阶 数 为 基础 的 . 
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3. 该 算法 提供 了 相对 于 趾 调 参数 多 屋 感 知 占 识 差 性 能 梯度 计算 的 最 优化 方法 。 
4. 反问 传播 算法 对 于 抗 动 是 鲁 棒 (robusD) 的 ,因为 如 辐 LMS 算法 一 样 , 它 能 使 #8” 准则 最 
小 化 。 


EE 1 到 性 质 3 可 直接 从 排 导 反 向 传 揪 算法 的 第 17,3 节 介绍 的 内 容 中 得 出 。 关 于 算法 
鲁 棒 性 的 性 质 4 的 数学 证 明 ,可 参见 相关 文献 [ Hassibi 和 Kailath( 1995) ] 。 
正 是 由 于 这 四 个 独特 的 性 质 , 使 得 反 向 传播 算法 木 仅 成 为 设计 多 层 感知 器 的 工具 ,而 月 成 
为 与 其 他 监督 类 训练 算法 比较 的 基 淮 ， 然 击 , 反 周 传 播 算法 的 一 个 主要 局 限 是 它 收 敛 到 性 能 
误差 曲面 的 局 部 或 全 局 最 小 点 的 速率 较 悍 。 这 一 局 限 是 由 于 算法 完全 依稀 一 阶 信息 [ 即 性 能 
误差 曲面 基于 多 层 感知 器 的 可 调整 参数 ( 权 值 ) 的 梯度 | 造成 的 。 
可 用 来 提高 算法 收 和 化 { 学 习 ) 速 率 的 方法 有 旭 下 珂 种 : 
1. 扩展 算法 学 习 过 程 ,使 之 包括 Hessian 矩阵 。 这 里 的 Hessian 矩阵 定义 为 性 能 误差 曲面 
对 可 调整 参数 的 二 阶 偏 导数 (Ngia & Sjöberg, 2000)。 
2. 以 广 闵 卡尔 曼 沪 波 嚣 为 基础 构造 多 屋 感 知 器 的 监督 训练 算法 (Puskorins & Lee, 2001). 
广 湾 卡尔 曼 补 波 的 推导 见 第 10 章 : 


自然 ,这 两 种 方法 的 构造 方 式 完全 不 问 , 但 是 它们 有 一 个 共 岂 的 特点 ;二 者 都 利用 了 二 阶 
信息 ,这 正 是 改进 学 习 过 程 收 伍 特 性 的 关键 因素 。 


17.8 本 章 小 结 


正如 IMS 算法 是 线性 自 适应 滤波 器 的 工具 一 样 , 反 向 传播 算法 是 神经 网 络 的 重要 工具。 
反 向 传播 算法 的 实现 相对 简单 ,因而 成 为 当今 设计 神经 网 络 最 流行 的 算法 。 尤 其 是 , 它 为 获取 
包含 在 训练 数据 中 的 信息 并 将 其 存储 在 网 络 连接 权 值 中 ,提供 了 一 个 强 有 力 的 工具 。 只 要 用 
于 训练 网 络 的 数据 集 足够 大 而 旦 代表 了 网 络 工 作 环境 ,那么 一 旦 训练 过 程 结束 ,网 络 就 具备 了 
“ 泛 化 能力。 特别 地 , 当 从 辣 一 输入 空间 中 抽取 新 的 测试 数据 作为 训练 数据 输入 该 网 络 时 , 它 
能 给 出 “ 令 人 满意 ”的 性 能 。 

由 包含 一 个 或 多 个 隐 层 的 前 局 网 络 构成 的 多 层 感 知 器 ,通常 是 一 个 与 反 向 传播 算法 结合 
在 一 起 使 用 的 神经 网 络 。 多 层 感 知 器 已 成 功 地 应 用 于 众多 的 工程 领域 中 。 按 照 所 实现 任务 的 
功能 ,可 以 将 这 些 应 用 分 类 如 下 : 


e 模式 分 类 (识别 ) 
e 预测 建 模 
9 控制 


多 层 感 知 器 能 从 其 工作 环境 中 学 习 的 能 力 得 益 于 这 些 各 具 特 色 的 应 用 。 

有 反 向 传播 学 习 是 有 监督 学 习 的 一 个 例子 ,之 所 以 叫 监督 学 习 是 因为 期 望 响应 {目标 信和 号) 
在 训练 数据 中 起 着 “教师 "的 作用 。 这 里 值得 注意 的 一 个 重要 问题 是 ,这 个 学 习 过 程 本 质 上 是 
-个 统计 随机 过 程 。 这 一 随机 特性 源 于 神经 网 络 的 工作 环境 。 最 终结 果 表 明 , 网络 仅 仅 是 表 
达 有 关 环 境 经 验 知 识 的 一 种 形式 。 在 研究 学 习 过 程 中 遇 到 的 困难 有 两 个 方面 : 


1. 神经 网 络 是 非 线 性 的 ,这 使 得 学 习 过 程 的 详细 统计 分 析 成 为 一 项 颇具 挑战 性 的 工作 。 
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2. 在 神经 了 网络 中 ,有 关 坏 境 的 知识 由 网 络 中 日 由 参数 值 (连接 权 值 和 偏 管 值 ) 来 表示 ;以 
这 种 方式 存储 在 网 络 中 的 知识 的 分 布 特性 有 助 于 解释 这 一 难题 。 
最 后 ,从 计算 的 观点 着 ,反问 传播 算法 的 特点 是 收 雍 速率 慢 。 当 要 求 完成 一 项 大 型 任务 
时 ,这 个 问题 就 变 得 龙 为 严重 。 这 时 ,我 们 再 次 很 起 它 与 LMS 算法 的 相似 之 处 , 即 慢 的 收敛 速 
率 。 为 了 加 快 收 敏 ,需要 以 某 种 方式 在 性 能 误差 曲面 中 加 人 二 叭 信息 来 修正 这 个 学 习 算 法 。 





17.9 RR 
1. SR AER EM: 


(a) p(x) -zl exp(- 5) ar 
(b) ox) = = tan(x) 


BAUER ATE kA A A BB OR HE. IFA Ed] 
之 间 的 区 别 。 

2. 通常 对 动量 常数 a 赋予 0< a < 1 区间 内 的 一 个 正 值 , 试 证 明 也 可 以 对 动量 常数 a AT 
-1<a 声 0 区 间 内 的 一 个 饼 值 。 

3. 在 用 反 向 传播 算法 训练 多 个 隐 层 多 层 感 知 器 时 ,通常 建议 对 网 络 的 不 同 层 使 用 不 同 的 学 习 

速率 参数 。 试 说 明 应 该 如 何 合理 地 选择 该 参数 。 
. 用 如 下 形式 的 离散 Volterra 模型 
u{n) = Dawin — i} + 之 人 — ie(n — j) tee 


和 


产生 一 个 时 间 序 列 , 式 中 ma ，. .是 Volema 系数 ,>(n) 是 白 高 斯 噪声 序列 的 样 值 , xn) 
是 模型 的 输出 。 利 用 一 个 神经 网 络 ,实现 这 个 Volterra 模型 ,使 之 满足 下 列 条 件 ; 
(a) 线性 项 具有 对 应 于 i = 1,2,3 的 系数 。 
(b) 二 次 项 具有 对 应 于 ij = 1,2 的 系数 。 
(ec) 三 次 项 和 所 有 高 阶 项 都 为 零 。 
, 对 于 随机 模型 复杂 度 , 式 (17.,59) 定 义 的 风险 久 具 有 类 似 于 最 小 描述 长 度 准 别 (MDL) ,参见 
第 1 章 。 试 讨论 眠 者 之 间 的 联系 。 
. 在 第 15 章 中 ,我 们 讨论 了 用 基于 Laguerre 的 时 延 网 络 作 为 常规 横向 滤波 器 的 一 个 替代 。 
(a) 按照 该 童 介绍 的 思想 ,表示 如 图 17.8 所 示 的 基于 Lagere HERE. 
Ch) 假设 使 用 实数 据 , 讨 论 如 何 特 表 17.2 的 反 向 传播 算法 应 用 于 这 一 新 的 神经 网 络 结构 。 


on 


mn 


后 w 


正如 序 音 中 指出 的 ,本 书 的 主要 目的 是 对 监督 方式 学习 的 线性 自 适 应 滤波 器 给 出 “详细 、 
爹 面 的 论述 ”。“ 线 性 "这 个 术语 系 指 所 有 可 调整 参数 固定 时 ,滤波 器 服从 琶 加 原理 。 包 含 在 第 
2 章 到 第 15 章 的 材料 . 辅 以 概述 本 书 主 题 的 “ 普 鼠 和 预览 ”- 音 ,关于 离散 时 间 随 机 过 徐 和 模 
型 的 第 1 章 以 及 附录 A 到 附录 G 的 支持 ,充分 说 明了 属于 白 适 应 系统 学 科研 究 分 支 的 线性 自 
IE DEDEDE EA BFE 

本 书 的 其 余 两 章 , 即 描述 育 反 卷 积 的 第 16 AAR ty PRE JS 17 Ba Bk 
应 系统 的 另外 两 个 方面 :无 监督 白 适 应 反 卷 积 和 非 线性 让 适应 滤波 ， 

这 个 后 记 的 目的 是 拓展 本 书 的 范围 ,以 使 读者 对 自 适应 系统 有 一 个 更 如 完整 的 概念 。 考 
虚 到 这 个 目的 ,我 们 选择 了 如 下 五 个 讨论 专题 : 

e 适当 自 适 应 (proportionate adaptation) 

o BESET Pett (robust statistics) 

© HWA R (blind source separation) 

o 递归 神经 网 络 (Trecurrent neural networks) 

è 非 线性 动力 学 {nonlinear dynamics} 


选择 这 五 个 专题 的 动机 是 它们 的 实际 重要 性 和 各 自 丰 富 自 适应 系统 的 方法 。 





运 当 自 适应 


由 稀 玻 可 测 数 据 表征 的 非 平稳 系统 在 实际 中 经 常 过 到 。 例 如 ,考虑 电话 网 络 中 的 回音 消除 
问题 。 典 型 地 ,网 络 中 的 一 条 回音 路 和 容 长 为 Hms 到 128 ms。 然 而 ,回音 路 径 的 活 哮 部 分 仅 有 4 ms 
至 8mas 长 ,其 余 是 回音 消除 器 与 局 部 环 路 之 间 相 对 比较 平坦 的 时 延 引 起 的 不 活跃 部 分 。 往 性 的 
是 ,这 段 平坦 时 延 的 实际 持续 时 间 是 未 知 的 , 随 电 话 从 一 个 呼 电 到 另 一 个 呼叫 而 变化 。 

基于 归 一 化 LMS 算法 的 传统 自 适应 回音 消除 器 ( 抑 第 6 章 ) ,并 未 利用 网 络 中 回音 路 径 的 
稀 醇 特性。 在 这 种 情况 下 ,如同 其 他 自 适 应 滤波 算法 一 样 , 归 一 化 LMS 算法 没有 从 它 自身 以 
前 的 计算 结果 中 学 习 的 能 力 。 

为 了 克服 归 一 化 LMS 算法 的 这 一 局 限 性 ,Duttweiler(2000) 引 人 了 适当 自 适应 的 思想 ,在 此 
基础 上 形成 了 适当 归 一 化 最 小 询 方 (PNLMS, proportionate nonmalized least-mean-square) 算 法 。 在 
这 个 新 算法 中 的 每 个 抽 头 权 值 (滤波 系数 ) 被 同 予 它 拥 有 的 步 长 ,这 些 步 长 利用 以 前 的 估 值 按 
照 如 下 规则 进行 计算 : 

其 自 适应 特性 是 这 样 体现 的 ,即使 回声 消除 器 的 太 拙 藉 权 值 太 体 上 与 前 一 个 撒 环 估计 的 

回声 路 径 的 冲 激 ! 响 应 的 幅度 成 正比 。 


从 直观 上 讲 , 这 一 修正 有 助 于 使 活跃 的 { 大 ) 抽 头 权 值 比 不 活 牙 的 (小 或 数值 为 零 ) 抽 头 权 
值得 到 更 快 的 调整 。 因 此 , 当 回声 消除 器 的 抽 头 权 值 收敛 到 网 络 匣 声 路 径 的 稀 朴 脉冲 响应 时 ， 
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J) FH BR AS BS ae ER is AT ff BN a Pe PE 
BY LL HS FEJET FRA Zh BSE By ie RE AS PNLMS 算法 (juttweiler, 2000; Benesty et al., 
2001) 





wen t+ 1) = Wn) + G{ajul(aje(n) (1) 


Ho 
uy (njG(njutn) + 6 
e(n} = d(n) — w'(nju(n) (2) 
HMAT, din) FER SAO iy gC) BER SA MTA 1 at Wn) ASS A oy te Cn Re Se 是 步 长 
参数 , 是 调整 参数 、PMNIWS 算法 与 归 一 化 IMS SAN A Saher A EC ae 
E Gin) Gmm AA H go(n),g (nn),...,gy_1(n) 表 示 | 按 照 如 十 递 寻 关系 式 进行 计算 





Youn 一 p max(8,. leatn) are loyal) (3) 
y(t) = MAX (Yma. ln) k=0,1,..,M-— 1 (4) 
n 
aaee en 


m—1 
> 2 Y(n) © 
式 中 M 是 滤波 器 的 长 度 ,p 和 6, 分别 是 其 典 雪人 和 值 为 p=5M Al 6, =0.01 PIER. A) 
的 y .包含 在 PNLMS 算法 中 ,以 全 防止 抽 头 权 值 如 (mn) 远 小 于 回音 消除 器 最 大 抽 头 权 值 时 发 生 
GER) EA, Be 8 的 功能 是 在 所 有 抽 头 权 值 都 兽 为 零 这 个 初始 化 情况 下 ,调整 X (ni[ 由 式 
(4) 定 义 ] 的 计算 。PNLMS 仅 比 归 一 化 LMS BABAK 50% , 但 它 不 需要 附加 的 存储 要 求 。 
然而 ,PNLMS 算法 也 有 一 些 缺 点 (Gay，1998); 


在 回音 消除 器 中 大 抽 头 权 值 快速 初步 收敛 后 ,其 余 的 小 抽 头 权 值 将 以 比 归 一 化 LMS 算 
法 更 慢 的 速率 进行 自 适 应 。 

© 如 果 网 络 回音 路 径 的 脉冲 响应 发 生 色散 ,或 它 由 几 个 稀 朴 脉冲 响应 构成 , 则 PNLMS 算 
法 以 远 低 于 归 一 化 LMS HERRA, 


一 种 改进 型 PNLMS 算法 , 即 PNLMS ++ 算法 ,通过 在 抽 头 权 值 更 新 过 程 中 联合 使 用 归 一 化 
LMS 和 PNLMS 两 种 算法 来 弥补 这 些 不 足 。 结 果 是 ,这 个 自 适 应 滤波 算法 以 接近 于 两 种 算法 
( 归 一 化 LMS 算法 和 PNLMS 算法 ) 中 较 快 的 那个 速率 收 伍 和 跟踪 。 此 外 ,PNLMS + 算法 的 计 
算 复 杂 性 和 存储 要 求 不 高 于 PNLMS 算法 。 


鲁 棱 统计 特性 


在 第 5 章 和 第 9 章 中 ,我 们 研究 了 按照 确定 性 最 大 误差 最 小 化 准则 的 常规 LMS 算法 和 
RIS 算 法 的 鲁 棱 性 。 该 处 介绍 的 研究 方法 基于 能 量 增益 的 概念 , 它 定义 为 由 某 一 算法 产生 的 
估计 误差 能 量 与 吉 到 该 算法 的 外 部 扰动 能 量 之 比 。 若 能 量 增益 小 于 1, 我 们 就 说 该 算法 具有 
重 棒 性 。 在 此 基础 上 ,我 们 证 明了 LMS 算法 一 般 比 RIS HARB. 

存在 自 适 应 滤波 算法 鲁 棒 性 的 另 一 种 方法 , 它 本 质 上 是 随机 的 。 按 照 文 献 (Huber，1981)， 
如 果 算 法 的 性 能 不 会 因 其 产生 的 估计 误差 的 实际 概率 密度 表 数 稍为 偏离 假设 模型 的 概率 密度 
函数 面 恶 化 ,我 们 就 说 该 算法 具有 和 鲁 棒 性 。 
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从 第 8 FIR TT ANSE, HBA RAEO Ry, ie) RTT ES ee KARAT 
效 。 而 且 在 这 - -ARE F , Bee) SRA TT at BE A 2 i EP EEA BS 
HE PANTER BYE. “4 JOT BT RIRE HH BARD, AP E Sa PO Ar Fe AE , FEE BE 
满意 地 进行 。 这 为 我 们 提供 了 为 什么 在 柴 些 特定 条 件 下 递 册 最 小 二 乘 (RLS) 算 法 呈现 非 鲁 棒 
性 能 的 男 一 个 原因 。 

为 了 使 RIS BURA ETE ,我们 必须 使 用 站 一 种 根本 上 不 同 于 第 9 音 所 采用 的 代价 函 
数 。 特 别 地 ,我 们 从 估计 误差 的 次 高 斯 模型 或 超 总 斯 模型 出 发 ,考虑 一 种 依赖 于 感 兴趣 应 用 的 
新 的 代价 函数 。 而 第 9 章 导 出 的 常规 RLS 算法 具有 一 般 的 适应 性 ,但 不 能 保证 其 鲁 棒 性 能 , 章 
棒 RIS 算法 的 应 用 只 限于 特定 类 的 非 平 稳 环 境 。 

在 Benesty 和 Gimsler(2001) 的 文献 由 ,通过 考虑 超 栅 斯 概 率 密度 函数 《pdf) 导 出 了 网 络 回 
音 消除 中 用 到 的 鲁 竺 RIS 算法 


fr{x) = > exp(~In{ cost {至 ))) 
] (6) 
2 cosh ( nx/2) 
式 中 的 均值 和 方差 分 别 为 0 和 1。(x) 与 x 的 关系 曲线 如 图 1 os, 图 中 还 包括 一 条 上 曲线 ， 
其 对 应 的 咀 数 为 归 一 化 高 斯 pdf 











1 i 2 
Pa < 二 el- +} (7) 
它 的 均值 和 方差 世 分 别 为 0 和 1。 从 图 1 OTLB (OB A? CA 
式 (6} 中 定义 的 pdf (x) 提供 了 便 棱 自 适 应 淡 波 算法 的 基础 ,这 是 由 于 如 下 两 个 原因 ， 


e 与 高 斯 pdf 的 情况 不 同 ,In(CA(x)) 的 一 阶 偏 导 数 是 有 界 的 ,由 此 造成 便 俱 和 非 鲁 棒 算 共 
的 所 有 差异 。 

© fr(x) 的 峰 度 大 于 f(x) 的 , 故 将 f(x) 称 为 超 高 斯 pdf。 由 于 回声 请 除 是 感 兴趣 的 应 
用 ,因此 太 {*#) 很 适合 于 建 模具 有 超 高 斯 分 布 的 语音 信号。 


为 了 推导 对 网 络 回音 消 除 具有 重 梁 性 的 RLS 算法 ,Benesty 和 Giinsler(2001) 将 代价 函数 定义 为 


sim) = Tay) 





(8) 
式 中 

n(n) = d(n) — Watn) (9) 
是 先 验 估计 误差 ,s( 5) 是 一 个 标 度 因子 估 值 , 它 是 为 了 使 鲁 棒 算法 不 受 曲 声 电 平 影 啊 出 引信 
KH. BX p EXA 

p(x) = In(cosh(x}) 


sel jt oe (10) 
Ga) 


它 是 一 个 凸 函数 。 算 法 的 组 成 涉及 两 项 计算 : 
e 定义 为 代价 函数 Tn Rt win -1) 一 阶 偏 导 数 的 梯度 向 量 
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o 定义 为 代价 函数 I Cnt win -1) 二 阶 偏 导数 的 Hessian 矩阵 





| ! ! Va ee a as — 

0.8 
i | 
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图 1 比较 两 个 概率 密度 函数 : 实 线 是 根据 式 (7) 定 义 的 高 斯 
ae Ke (x), 感 线 是 式 (6) 定 义 的 超 商 斯 函数 亡 (x) 


然后 ,应 用 来 源 于 递归 最 小 二 冬 估 计 的 某 些 概念 ,Benesty 和 Ginaler(2001) 导 出 了 鲁 棒 RLS 
算法 及 其 计算 复杂 度 随 请 波 器 长 度 M 呈 线 性 变化 的 快速 型 算法 。 重 棒 HLS 算法 包含 第 9 章 
的 常规 RLS 算法 作为 一 个 特例 。 

图 2 比较 了 双向 语音 通话 时 鲁 棒 和 非 鲁 棒 RLS 算法 的 性 能 。 远 端 说 话 者 是 男声 , 近 端 说 
话 者 是 女声 , 旦 远 端 - 近 端 信号 功率 比 为 6dB。 由 图 可 见 , 即 使 使 用 双向 通话 检测 器 (DTD,qou- 
ble-talk detector) ,因为 DTD 的 反应 不 够 快 , 非 便 棒 RLS 算法 仍 会 发 散 , 而 鲁 棒 RL 算法 仅仅 是 
失调 略 有 增加 。 

此 处 对 统计 鲁 棒 性 的 简短 讨论 中 获得 的 信息 是 ,如 果 对 某 种 应 用 鲁 棒 性 具有 实际 重要 性 ， 
我 们 应 该 特别 关注 估计 误差 统计 模型 万 至 代价 函数 的 构成 方法 。 


盲 源 分 离 


育 源 分 离 (blind source separation)? 的 目的 是 为 了 对 混合 器 输出 端 形成 的 一 组 观测 值 ( 测 
量 值 } 进 行 操作 ,以 便 估 计 出 加 到 混合 器 输入 端的 信 源 信号 。 讶 源 分 离 和 自 反 养 积 是 相互 有 关 
的 问题 ,因为 给 定 一 个 育 源 分 离 算法 ,就 存在 一 种 方法 ,可 将 育 源 分 离 算法 转化 为 盲 反 卷 积 算 


人 ”有关 非 卷 积 和 着 积 直 源 分 离 许 包 方面 的 深 人 探讨 ,可 参见 Haykin(2000) 编 辑 的 两 粹 书 称 册 Hyvirinen、Karhmmen 和 
Diat2001) 关 于 这 一 主题 撰写 的 教科 书 。 
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TE (Douglas & Haykin, 2000) - 
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失调 (dB) 











(c) 由 两 种 RLS 算 法 产生 的 失 Peete AlGinsler(2001 DHE Hi KP RLS 


PRBS GABRAS. “BES ER SPE BNO He RR Bem 


图 2 双向 通话 检测 问题 


考虑 图 3(a) 给 出 的 多 输入 多 输出 (MIMO) 混 合 器 。 在 混合 器 的 输 人 端 , 有 一 组 独立 的 信 
源 , 它 发 送信 号 san),stn) .setn)。 在 混合 器 的 输出 美 是 一 组 传感器 ,产生 观测 信 
(nn) ,wtn),...,un(n)。 要 求 是 拆 开 这 个 混合 过程 ,以 便 可 靠 地 估计 原来 的 信 源 信号 。 

盲 源 分 离 出 现在 各 种 应 用 中 :诸如 阵列 信号 处 理 .去除 生物 神经 信号 中 各 种 人 为 干扰 、 助 
听 器 设计 金融 市 场 数据 分 析 等 。 盲 源 分 离 的 解决 取决 于 以 下 五 个 方面 的 问题 : 


(i) 混合 器 是 线性 的 ,还 是 非 线 性 的 。 

G) 混合 器 是 固定 的 ,还 是 时 变 的 。 

Gi) 混 台 操作 是 非 卷 积 ( 即 无 记忆 ) 的 ,还 是 卷 积 的 。 
Civ) 传感器 是 无 品 的 ,还 是 舍 品 的。 

(v) ER M 与 传感器 数 六 之 间 的 关系 如 何 ? 


最 简单 的 情况 出 现在 混合 器 为 线性 和 无 记忆 、 传 感 器 为 无 品 且 N= MST, 可 写 出 
nn) = Asin) (11) 
式 中 入 是 标量 系数 组 成 的 M x MERE, s(n ul RA 


sin) = [si{n), sn) a su) 
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uin) = jaah mal), ean) | 
ERREF un TSS REA A. WORSE A JEA eB at), BR 
了 每 个 信号 分 量 的 任意 标 度 和 下 标的 排序 这 两 个 无 关 紧 要 的 修改 外 ,可 能 恢复 原来 的 信 源 信 
号 ,因此 ,可 以 将 这 一 理想 的 解 ,; 即 解 混 带 (demixer) 的 输出 表示 为 

ya) = Wulan) = WAs(n) -> DPs(n) (12) 
式 中 的 W 是 表征 解 混 器 的 Mx M 权 值 第 阵 ,D 为 对 角 阵 ,P 为 排序 阵 。N = MRR ER 
如 图 3 所 示 。 


me ee a u u u u 








(>) 共 强 测 值 中 恢复 原来 信 源 信 导 的 系 旷 框图 


图 3 N= 上 于 的 解 混 器 框图 


各 种 无 监督 学 习 算 法 设计 用 来 求解 育 源 分 离 问 题 。 所 有 这 些 算法 的 基础 是 组 成 反差 沙 
煞 {eontrast function) (Comon , 1994; Cardoso, 2000; Comon & Chevalier,2000)}, HLA SAS he 
一 个 最 优化 问题 。 在 严格 的 意义 上 ,可 把 反差 函数 定义 为 解 混 咒 输出 yine) A BE PK, A 
要 给 定 具 有 如 下 重要 特性 的 观测 向 量 uCn); 反 差 酉 数 的 极 小 点 定义 了 解 混 器 的 权 值 炬 阵 。 

反差 函数 的 一 个 例子 是 Kullback-Leibler 发 散 性 ,用 Day (WER » Cae A AR a AX E E 





D  BYE4YES GIA) Herault Jutten 和 Ans(1985) 的 划 新 性 论文 。 强 调 这 个 问题 中 信号 处 理 作 用 撮 语 有 和 远见 的 评述 ,网 
Cardoso( 1998) , Amari „Cichocki ,Yang(2000) 以 及 Hyvärinen, Karhunen 和 Uiaf2001) 等 的 论文 。 
信息 论 为 自 源 分 离 算 法 的 研究 与 发 展 提供 了 强 有 力 的 基础 。 这 个 方法 的 发 展 动因 是 由 其 同 题 的 本 性 决定 的 ;有 关 这 
方面 的 更 详细 论述 , 见 Comon 1994) Bell 和 Sefnowski(1995) ‚Comon 和 Chevalier (2000) 以 及 Principe 等 (2000) 的 论文 。 


后 记 611 





到 参数 化 的 如 下 两 种 分 布 之 间 区 别 的 度 基 : 


o 解 混 器 输出 的 概率 密度 阴 数 fy Cy, W) 
e 相应 的 阶乘 分 布 


fly, W) = Ti.) (13) 


AFRA. WERNERA D y 的 第 i 个 分 量 的 边际 概率 密度 函数 。 
该 问题 的 Kullback-Leibler RAET Ae Be AS} 
a Aly, W) 
D; W) = W E 
m= 三 Am nl fa a) 
TRE, Esta) doe yee Me GEE fy Cy, WARRE Jely, WREE, 
根据 式 (14) , Kullback-Leibler 发 散 性 Day (WÈ W A-A akm BE, AURA E 
可 通过 寻找 Day CW) BD AR Eo 
25966 E> pele A Se a By ef GRO, BRR RS, Ik 
情况 出 现在 许多 实际 的 多 传感器 应 用 中 ,例如 : 
© 远程 电信 会 议 环 境 , 此 时 信和 号 是 在 一 个 带 有 回音 的 房间 中 由 客 个 声 源 同 时 产生 的 。 
9 数字 通信 场合 ,此 时 多 个 发 射 机 工作 在 同一 无 线 频段 ,并 由 客 个 天 线 接收 这 些 发 射 迟 号 
的 混合 物 。 
为 了 调节 这 些 着 积 环境 下 信 源 信号 的 分 离 , 解 混 髓 必须 带 有 各 身 的 存储 单元 ,从 而 使 育 源 分 离 
算法 的 设计 复杂 化 {Lambert & Nikias, 2000; Torkkola, 2000; Hyvärinen et al., 2001). 








(14) 





递归 神经 网 络 


对 于 采用 神经 网 络 的 暂 态 信号 处 理 ,可 通过 在 多 层 感 知 器 的 输入 层 典 入 短 时 存储 器 (如 通 
过 一 个 抽 头 延迟 线 》, 以 直接 方式 计算 时 间 , 如 第 17 章 所 述 。 计 算 时 间 的 另 一 个 重要 方法 是 使 
用 反馈 ,正如 动态 驱动 的 递归 神经 网 络 中 那样 (Haykin，1999)。 
这 一 网 络 的 动态 特性 可 出 复合 方程 对 
xla + 1) = Fx((n), n(n)) (15) 
和 
y(n) = C(n)x(n} (16) 
来 指 述 , 式 中 下 是 一 个 用 来 表征 多 层 感 知 器 隐 层 神经 元 激活 特性 的 非 线 性 向 量 值 函数 ,n(n) 
是 已 知 的 外 部 输入 向 量 ,x(n) 是 隐 状 态 ,C(n) 是 表征 网 络 输 出 层 的 权 值 矩阵 。 由 式 (15) 和 和 式 
(16) 描 述 的 状态 空间 模型 来 源 于 现代 控制 论 (Sontag, 1990)。 以 这 种 方式 描述 的 递归 神经 网 络 
的 一 个 重要 特性 是 , 它 能 够 通 近 范围 广泛 的 一 类 非 线 性 动态 系统 。 特 别 地 ,网络 具 有 泛 化 非 线 
性 动态 输入 数据 的 能 力 ,这 在 此 前 没有 见 到 过 。 
疼 4 示 出 状态 空间 模型 的 通用 实现 ,该 模型 是 以 带 有 两 组 延迟 单元 (其 中 一 组 在 反馈 路 径 
E, 锚 一 组 在 输出 路 径 上 ) 的 名 层 感知 器 为 基础 构成 的 。 这 个 模型 称 为 递归 多 层 感知 器 , 它 号 
现 出 丰富 而 复杂 的 动态 特性 。 训 练 这 种 神经 网 络 的 流行 算法 是 实时 递归 学 习 (RTRL,real-time 
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recurrent leaming) 算法 (Willigms & Zipser, 1989; Haykin, 1999), RTRL 算法 的 推导 ,通过 最 小 化 
均 方 误差 准则 并 以 类 似 于 LMS 算法 的 方式 进行 期 户 值 瞬时 估计 来 完成 。 图 5 给 出 基于 RTRI, 
算法 的 网 络 结 攀 , 它 由 两 个 输 人 ( 估 源 ) 节 点 . := 个 隐 神 经 元 和 一 个 输出 神经 元 组 成 。 该 网 络 是 
全 连接 的 ,由 一 个 级 联 的 输 人 输出 层 和 一 个 处 理 居 组 成 。 























图 5 _RTRL 神 经 网 络 结构 :前 馈 连接 代表 由 RTRL 算法 训练 的 权 值 


RIRL 算 法 编码 简单 ,但 遗 忙 的 是 其 计算 复杂 度 随 ON 是 网 络 中 的 神经 元 总 个 数 ) 增 长 。 
为 了 解决 有 理论 意义 和 实用 价值 的 非 线 性 信号 处 理 问题 ,RTRL 算法 通常 要 求 N 取 很 大 值 ,这 也 
使 得 它 很 难 在 维持 网 络 实时 工作 所 能 接受 的 短 时 间 内 获得 统计 意义 上 很 小 的 估计 误差 。 

为 了 克服 计算 难题 ,可 使 用 流水 线 递 归 神 经 网 络 {PRNN, pipelined recurrent neural network) 
(Haykin & 1i,1995)。PRNN 由 若干 个 相同 的 递归 模块 级 联 组 成 ,每 一 个 模块 由 可 调 权 值 抢 阵 W 
表征 ,如 图 6 所 示 。 当 六 =4 时 ,其 内 部 结构 如 图 5 所 示 。PRNN 中 最 后 一 个 模块 包含 了 一 个 附 
加 及 馈 路 径 , 以 使 输入 层 规模 与 所 有 其 他 模块 相同。 本 质 上 ,能 够 通过 “分 而 治之 "的 工程 原理 改 
善 PRNN 的 计算 效率 。 为 了 初始 化 PRNN 的 权 值 矩阵 克 , 将 监督 训练 方法 应 用 于 网 络 的 一 个 模 
块 。 为 了 进行 这 种 训练 ,可 采用 RTRL 算法 。 通 过 使 用 基于 广义 RLS 算法 的 学 习 算 法 ,可 获得 快 
WEAR (Mandic et al., 1998; Mandic & Chambers, 1999), J7 X RLS 算法 在 第 14 章 讨论 过 。 
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图 56 流水 线 递 归 神 经 网 络 {FRNN) 框 图 


非 线 性 动态 系统 :无 导数 状态 估计 


式 (15) 和 式 (16) 的 状态 空间 模型 是 图 7 所 示 的 更 通用 模型 的 一 个 特例 。 在 这 个 模型 中 ， 
过 程 方程 和 测量 方程 分 别 定义 为 





过 程 方 得 测量 方程 
图 7 非 线 性 状态 空间 模型 的 一 般 化 框图 


x(n) = F(a, x(a — 1), ua(m)) + y(n) (17) 

和 
y(n} = Cla, x(n) + af (18) 
oo FA CERERA., Wel x(n) RRA. un) ASKBAR MB. AK 
状态 空间 模型 ,我们 在 模型 中 引入 过 程 噪声 v (n MERE py,(n), 二 者 部 假设 是 白 噪声 ; 
做 这 样 的 假设 是 为 了 简化 叙述 。 过 程 噪 声 v (mn) 充 当 模 型 动态 特性 的 驱动 力 。 为 了 求解 式 
[17 和 式 (18) 所 述 的 非 钱 性 估计 问题 ,使 用 广义 卡尔 曼 滤 滤器 (ERKF, extended Kalman filter}. 
从 第 10 章 已 经 知道 ,这 个 滤波 器 是 非 线 性 估计 问题 解 的 一 阶 近 似 。 可 通过 使 用 迭代 EKF ,来 
改善 基本 EKF 的 性 能 ,其 合法 是 将 改进 的 参考 轨迹 引入 估计 中 (Jazwinski, 1970; Maybeck, 
1982)。 壕 代 滤 波 器 的 基本 思想 是 ,一 旦 生成 滤波 状态 估计 ,就 将 这 个 值 当 做 比 计算 测量 方程 
时 预测 状态 更 好 的 一 个 状态 估计 。 不 过 ,对 于 实际 的 非 线 性 状态 模型 ,计算 中 会 引入 可 观 的 误 
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Æ, CHRT EKF 太 其 送 代 型 在 求解 非 线 性 滤波 难题 中 的 应 用 。 

在 本 节 我 们 将 简要 阐述 -- 种 新 的 非 线性 滤波 算法 , 即 无 饥 迹 卡尔 总 滤波 器 (UKF unscented 
Kalman filter) (Julier et al., 1995; Julier & Bhlmann，19977 的 一 些 基 本 慨 念 ， 这 个 新 的 滤波 器 比 
广 闵 卡尔 蝇 滤 波 器 (EK) 于 受 欢迎 ,因为 它 具备 以 下 岗 个 重要 特性 ， 

D 当 这 程 误差 利 测 量 误 差 以 友 先 验 状 态 均 为 高 斯 分 布 时 ,UKF 可 精确 到 三 阶 。 对 于 非 高 

斯 分 布 的 情况 ,UKF 至 少 可 精确 到 一 阶 。 因 此 ,UKF 可 提供 优 于 EKF 的 性 能 。 
2) 与 EKF 不 同 ,UKF 不 需要 计算 线性 化 过 程 方 称 和 测量 方 种 的 雅 是 比 (]acobian) 年 阵 。 
内 此 ,在 实现 方面 .UKRE [E EKF 更 简单 ， 
falta OBE RR SIR SL CL OR, AT Tike eR, SRT Mx I fe 
机 向 量 x, 经 如 下 的 非 线 性 变换 后 得 到 一 个 x 1 随机 向 量 y 
$ = (x) (19) 
AF ETERA AFAR Ee, Se x WH AES, 要求 是 确定 相应 
于 了 的 均值 向 量 和 协 方 差 窍 阵 。 取 决 于 如 何 定 义 随机 向 量 x A yk — PRA A 
于 图 7 中 非 线性 状态 空间 模型 的 过 程 方程 (17) 或 测量 方程 (18) 
考虑 对 式 (19) 的 变换 ,对 其 进行 参数 化 设计 ,以 满足 下 述 原理 (Julier & Uhlmann，1997) : 


o 随机 向 量 x 的 均值 疝 量 和 协 方差 矩阵 中 包含 的 信息 在 某 种 党 义 上 可 由 无 轨迹 变换 精确 
地 捕获 , 它 人 允许 这 个 信息 以 计算 上 有 效 的 方式 通过 非 线性 方程 (19) 传 播 。 
这 一 要 求 , 可 通过 生成 一 组 2W + 工 个 siga A Rl fo 得 到 满足 ,其 中 每 个 向 量具 有 ME. 
第 一 个 向 量 加 AA x 的 均值 。 其 余 的 2 姥 个 同 量 从 如 下 矩阵 平方 根 





+(V(M + XK) i= 1.2,...,2M (20) 
的 列 中 获得 , 式 中 KK EHE x TE, H. 
A=o(M+x)- M (21) 


是 一 个 标 度 参数 ( Wan & van der Merwe, 2000). YAX a 决定 signa 点 围绕 向 其 x 均值 的 扩散 程 
度 , 典 型 地 ,将 它 置 为 0.001 <a < | RIDA — TP DER. RRR AN MBSR, CIS 
为 0, 这 种 选择 在 状态 估计 时 工作 得 很 好 。 然 而 在 参数 估计 时 , 选 为 3- NON 为 状态 空间 的 维 
数 ) 会 更 好 些 。 正 如 后 而 将 要 证 明 的 那样 ,无 轨迹 卡尔 曼 滤 被 融 还 引信 人 常 数 B, 它 将 x oh 
先 验 知识 考虑 在 内 ;例如 ,对 于 高 斯 分 布 ,8=2 是 一 个 最 优选 择 。 

从 式 (20) 定 义 的 下 的 平方 根 得 到 的 2 个 向 量 都 具有 相同 的 协 方差 短 阵 ,但 其 均值 为 零 。 
只 要 在 这 2M 个 向 量 的 每 一 个 向 量 中 加 上 x 的 均值 , 即 可 生成 具有 所 期 望 均值 和 协 方差 的 一 
个 对 称 的 向 量 组 (由 2M 个 向 量 组 成 y)。 于 是 ,均值 修正 过 的 2 杠 +1 个 sigma 点 | 经 非 线 
性 函数 f 处 理 后 ,产生 对 应 的 一 组 N 维 向 量 ,这 组 向 量 可 用 来 估计 非 线性 变换 后 向 量 y 的 均值 
和 协 方差 和 矩阵。 特别 地 ,我 们 可 使 用 Wan 和 van der Merwe(2000) 提 出 的 加 权 样 本 均值 


2M 
y= Dwi", (22) 


和 加 权 样 本 协 方差 
iM 
K,= > WY,- $Y - 9)" (23) 








式 中 
Y; = a(x,) (24) 
是 sigma 点 %; ZARTE KRUGE RAR RAS W, eA 
(m A 
Wo M+h (25) 
wi = A + (1 ~ ot +8) (26) 
和 
im) — pple) n l . 1 
wi) = w! EEF i= 1,2,...,2M (27) 


Wi? 中 的 上 标 m ERTIY, WO PH bite 表示 协 方差 。 
作为 例子 ,考虑 一 个 二 维 随 机 向 量 x, 它 使 用 -- 个 随机 选择 权 值 的 神经 网 络 ,经 过 非 线 性 
变换 后 产生 一 个 新 的 向 量 y。 图 8 示 出 由 三 种 不 同 的 计算 方法 得 到 的 结果 : 


e 由 Monte Carlo 模拟 得 到 的 真实 均值 和 协 方差 传播 情况 , 如 图 中 左边 所 示 ,作为 评估 的 
基准 。 

s 用 线性 化 方法 (类 似 于 广义 卡尔 曼 滤 波 器 中 使 用 的 方法 ) 得 到 的 均值 和 协 方 差 传 播 情 
Oh, 如 图 的 中 间 所 示 , 其 中 矩阵 A 由 非 线 性 函数 /的 局 部 线性 化 得 到 。 

© 使 用 无 轨迹 变换 得 到 的 均值 和 协 方差 传播 人 情况， 如 图 中 右边 所 示 。 就 所 讨论 的 例子 而 
言 ， 它 有 五 个 sigma R, 其 中 一 个 点 用 于 计算 均值 , 其余 的 点 用 于 计算 协 方差 矩阵 K o 





实际 (上 取样) 线性 (EKF) 无 线 寄 变 搞 UT) 
tre m ny 
i \ ð 
® 
均值 
| | 
7= £2) ek 
ee ToL 
| Fl By 
z 变换 了 的 
4 fir) e emi 
\e) UT AE l 
aa T N 4 ® 
UT HE 





图 8 在 非 线性 动态 环境 下 ,线性 化 (EKF) 变 换 和 无 轨迹 变换 (UT) 的 性 能 比较 。 
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这 申 图 清楚 地 吕 骨 无 轨迹 变换 的 性 能 和 优 于 线性 化 方法 。 
对 于 含 加 性 噪声 的 式 (17) 和 式 (18) 中 非 线 性 状态 空间 模型 ,无 轨迹 卡尔 曼 滤 波 器 就 是 无 
轨迹 变换 的 直接 推广 ,如 表 1 所 总 结 (Wan & van der Merwe, 2001)。 


表 1 无 扫 流 卡尔 时 滤波 器 小 结 





Be. 
MOR x(n) FER 

NA y(n) BE 

立 :小 和 的 正常 数 , 用 来 确定 围绕 状态 EADY sigma 点 的 分 布 
ERE xt ASP ASL A ER SR ee 

x: 第 二 个 标 度 套数 ,通常 职 为 堆 


和 = + M 





A 
crn) 二 
Wo M+ aA 
A 
whe ./—" {l-a 
O Mba (1 -a + B) 
(m o yi 一 A rae 
we) = Wi UM + i=1,2,...,2M 


Q: HRES + (HD ABBE eA ea 
Q: MPRE yat DH SESE BEATHA 
R: 输入 向 量 的 协 方差 看 阵 ,假设 为 零 均值 
R,C: 已 知 的 向 量 值 非 线性 喇 数 

mE.: 

š) = Elto) 

K(0) = E((x(0} - £(0))(x(0) — £¢0)}]” 
计算 ， 
对 n=1,2,.., ,完成 如 下 计算 ， 

L. sigma 点 
wn- 1) = x(a - 1) 
ydin -1) = — 1) + (VM + A)K{n- 05 1,2,...,2M 
Bep(./ CH OK Gm- 1, WEP TRS i 列 
2. 时 间 更 新 
和 (一 = 1 
iinn- 1)= S waina —1) 
1=0 
2M 
Kinin - 1) = $ wti- 1) -fiala ~ (nln ~ 1) inla 1) + Q 
i=0 


Wnln — 1) = Clx(ain — 1}) 2=0,1,...,2M 
y(nln ~ 1) = S whtnln - 1) 


i=D 


3. MRE 
K,,)(#) = S wynn - 1) ~ Fala ~ HRY (air - 1} - Fin - 1)" + Q 
i=0 


K,,(#t) = Swain ~ 1) ~ Enln — DY(ain — 1) - Fala ~ 1)y" 
1=0 


Gin) = K (nK Ka) 

k(n} = fiala — 1) + GOD) — ¥(nian — 1)) 

Kin) = Ktnln — 1) 一 G(n)K,,(n)G" (7) 
a A aeaaaee 








表 中 计算 过 程 分 为 一 步 : 


1) sigma 点 的 计算 。 

2) 基于 sigma 点 并 考虑 到 系统 动态 特性 影响 的 时 间 更 新 。 

D 考虑 到 观测 值 影响 的 测量 值 更 新 ; 表 中 最 后 三 个 式 子 从 第 10 章 基 本 卡尔 曼 滤 波 器 理 

论 得 出 。 

为 了 简化 表 中 的 记号 ,我 们 已 经 稍为 偏离 了 第 0 章 所 用 的 记号 ; 例如 ,我 们 使 用 
(nin -1) 表 示 已 知 直 到 n -1 时刻 数据 时 对 = 时 刻 的 估计 ,等 等 。 

茵 要 重新 指出 的 一 点 是 ,无 轨 半 卡尔 曼 滤 波 器 是 一 种 无 导数 状态 怕 计 器 (derivative-free 
state estimator) , AA Cg (FA & E a Tel fe ae AE AT He (Jacobian ) 71 PE BE ( Hessian ) 4E RE 
(二 者 都 涉及 偏 导 数 ) 的 显 式 计 算 , 这 意味 普 可 微 非 线 性 函数 不 再 是 必要 的 要 求 ,这 是 无 轨迹 卡 
尔 曙 滤波 器 优 于 广义 卡尔 曼 证 波 器 的 另 一 表现 中。 

无 轨迹 卡尔 曼 滤 波 器 的 计算 复杂 性 一 般 是 OMM 是 状态 的 维 数 )。 然 而 ,在 某 些 特殊 
条 件 下 (例如 参数 估计 ,包括 神经 网 络 的 训练 ) ,能 够 构造 出 计算 复杂 性 为 OUP HERE. 


D Norgaard Poulsen & Ravn(2000) 措 述 了 非 线 性 动态 系统 中 无 导数 状态 估计 的 另 一 种 方法 ,后 来 称 为 NPR- RE 
器 。 在 这 个 新 方法 中 ,当前 状态 估 导 附近 的 线性 化 泰 其 级 数 展开 式 ,被 所 选 长 度 区 间 上 再 近 某 一 非 线 性 菠 歼 的 
Stirling 内 播 公式 所 代替 ;从 而 ,可 把 要 选择 的 基 直 接 看 做 设计 过 程 的 一 部 分 。Stiring 内 插 公 让 用 来 计算 两 个 其 他 
内 插 ( 前 向 和 后 向 Newton-Gausa 内 插 ) 的 平均 (Wylie & Barret, 1982). 

Feldkane 等 (2001) 已 将 简化 型 NPR- 卡 尔 曼 小 波 器 [其 计算 复杂 性 为 OU )] 应 用 于 监督 训练 的 递 外 多 层 十 知 器 。 
而 且 报道 了 类 似 应 用 情况 下 新 方法 优 于 广义 卡尔 受 污 波 器 之 钼 : 

。 以 等 个 延迟 为 基础 的 超 快 速 训 练 

"不断 获得 进一步 改进 的 最 签 解 


附录 A 复 变量 


本 附录 对 复 变 量 理论 做 简要 的 回顾 。 在 本 书 正文 所 述 内 容 的 范围 内 ,所 用 的 复 变量 是 与 
z 变换 有 关 的 变量 *。 我 们 首先 回顾 复 变 量 解 析 函 数 的 定义 ,然后 学 出 一 些 重要 定理 ,这 些 定 
理 构 成 了 复 变量 的 重要 课题 "。 


A.1 柯 西 - 黎 曼 方程 


考虑 一 个 复 变量 
za=xt yy 
其 中 x 是 z 的 实 部 ,y 是 z 的 虚 部 。 我 们 提出 这 样 一 个 域 ,在 这 个 城中 ,用 复 变 量 : 描绘 z 域 。 
设 f(z) 定 义 了 复 变 量 z 的 一 个 画 数 , 记 为 
w= fiz) =u t jv 
如 果 在 x 域 的 某 一 给 定 区域 上 ,每 个 : Eie E, MRA w = APR, R 
一 个 z EREA w (We w = fF(3) 为 多 值 函数 。 
假设 当 x 一 wo H y 一 六 时 ,z 域 中 点 z=x+ 户 逼近 国定 点 am = to + Hoo 在 点 z= z 的 邻 
域内 定义 z 的 一 单 值 函 数 ftz)。z 的 邻 域 就 是 以 zo 为 中 心 的 一 全 足 例 小 的 图 形 区 域内 所 有 
点 的 集合 。 今 
lim f(z) = wp 
特别 地 ,如 果 fC 2g) = wy PRR fz) 在 点 z= zy 连续 。 
f(z) 由 它 的 实 部 和 虚 部 表示 为 
f(z) = a(x, y) + jot, y) 
当 fz) 在 点 zo = xo + pn 连续 时 , 它 的 实 部 和 虚 部 , 即 u(x,y) 和 v(x,7) ,在 点 (zxo ,Yo) 处 都 是 
连续 函数 ,反之 亦 然 。 
如 果 w= f(z} 在 > 域 某 一 范围 内 的 每 一 点 处 都 连续 , 财 用 复 变 量 w 和 z 来 分 别 描述 它们 
各 自 的 域 , 称 为 w 域 和 z 域 。 而 且 ,z 域 的 点 (x,y) 通 过 关系 w = flM w RA, 0). 
考虑 增 量 转换 如, 使 得 点 z+Ax 可 位 于 za 邻 域内 的 任何 地 方 , 旺 数 在 该 处 有 定义 。 我 们 
可 以 定义 ADES z= 2 关于 z 的 导数 为 
ee Jim, flzo + z — f(z) (A.1) 


显然 ,要 使 F(zo) 有 惟一 值 ,必须 使 得 式 (A.1) 中 的 极限 值 与 Az 趋 于 零 的 路 径 无 关 。 
要 使 f(z) 在 某 点 z= x+ y 有 惟一 导数 , 它 的 实 部 和 虚 部 必须 满足 一 定 条件 。 令 


中 ”对 复 变量 理论 更 详细 的 讨论 ,参见 Guillemin{ 1949) ,Levinson 和 Redheffer( 1970) , Wylie 和 Barnett(1982)。 
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w= f(z) = w(x, y) + jolx, y) 
其 中 Aw = An t+ fav B Az = Ax + jAy 轩 , 我们 可 以 写 


(4.2) 
f (z) B am, Az 
Au + jAu 





eb Ax + fAy 


假设 我 们 通过 先 令 ,Ay 一 0, 再 令 Ax 一 0 来 使 Az 一 0, 在 这 种 情况 下 ,Az 是 纯 实 数 。 则 由 式 
(上 ,2) 可 得 


(A.3) 





假设 我 们 通过 先 令 ,Ax 一 0, 青 令 &y~*0 来 使 Az-*0, 在 这 种 情况 下 ,Az 是 纯 虚 数 。 此 时 ,由 式 
(A.2) 可 得 
f'(z} = lim co 


Sp 
Ayo Ay Ay 
av ou (A.4) 


要 使 导数 f (2) FEE RCA.3) AR (A.4) AS, A BOR 


du av av ou 


ax tJ ax dy dy 
> ERB ASD BAAS , AGRO TRA 





au _ ov 
ox ay (A.5) 
w du 

ax ay (A.6) 


式 (A.5) 和 式 (A.6) 称 为 柯 西 - 黎 曼 (Cauchy-Riemamn) 方 程 。 我 们 是 通过 研究 Az 一 0 MAHER 
路 径 中 的 两 条 得 出 这 个 等 式 。 要 使 沿 其 他 路 径 计算 出 的 AwiAz RET f(z), REA 
一 个 条 件 , 即 式 (A.5) 和 式 (A.6) 中 的 偏 导数 在 点 (%,y) 连 续 。 换 句 话 说 ,如 果实 部 u(x,y) HE 
部 v(x,Y) 及 其 一 阶 篇 导 在 点 (x,y) 处 连续 , 柯 西 -黎明 方程 就 是 复 菠 数 w = u(x,Y) + jlx, y) 


在 点 (x,y) 处 可 导 的 充 要 条 件 。 
MEER f(z) 在 点 z= zo 及 zo 邻 域内 的 每 一 点 都 可 导 , 则 说 灰 z) 在 am 点 处 解析 ,或 称 同 


态 ; zx BRA PATE A. ROR RK f(2) 在 点 ww 处 不 解析 ,而 在 zo 的 邻 城内 解析 . 则 称 z 为 
f(z) SEA 


A.2 柯 西 积分 公式 
f(z) 是 复 变量 : 的 任 一 连续 函数 ,解析 或 非 解析 。% 是 连接 z RAA =z MB = 2, 的 一 段 
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HAH., BEHRA a hn PDE AS k= 1,2,...,27-1, 008 A.1 所 示 。 图 中 还 
标 出 了 AS, 段 上 的 任意 一 点 6, ARR DERE An, 的 弧 。 因 此 可 以 认为 和 是 
> SS, Az, o ar BOK n 趋 于 无 穷 ,Azs 趋 于 零 , 扩 2) 沿 路 径 有 的 线 积 分 可 用 上 述 和 式 的 棚 
限 值 来 定义 , 即 


Prode = jim SAA (A.T) 


在 特殊 情况 下 , 当 点 4 利 点 吾 重 合 且 有 为 一 闭 采 钱 时 . 式 4A.7} 中 的 积分 就 是 围 线 积分 , 记 为 
ye 所 z)dz。 注 意 , 对 于 此 处 描述 的 概念 , 沿 闭 曲线 有 的 积分 是 道 时 针 方 向 。 





Aal 分 段 光滑 路 征 


A) BARE RRR LAER, FR f(x) 在 这 里 连续 。 线 积分 $4 f(z)dz 与 区 域 岗 上 
连接 任意 两 点 的 路 位 6 无 关 。 如 果 路 径 % 是 见 曲 线 , 则 积分 值 为 零 。 这 样 得 到 柯 西 积分 定理 ， 
表述 如 下 : 

oR BH f(z 在 区 域 久 内 解析 , 则 f(z) 在 区 域 红 内 沿 闭 曲线 @ 的 轩 线 积分 是 零 。 即 


fro dz =0 (A.8) 


APSE Re BRN TAREE. MER —THERARAA BRAK. 
玫 本 在 单 连通 区 域内 部 和 边界 6 上 解析 。z 是 & 内 部 的 任 一 点 。 柯 西 积 分 公式 表述 如 下 
_ 1 f(z) 
Flo) mi d 


: z 
2nj eo 7 fo 





(A.9) 


其 中 ,沿线 的 积分 是 逆 时 针 方 向 的 。 
柯 西 积分 公式 根据 解析 函数 f(z) 沿 边界 名 的 积分 值 来 表示 其 在 % 内 部 点 zo 处 的 函数 值 。 


由 这 个 公式 ,直接 导出 f(z) 的 各 阶 导 数值 为 


i 
Fe) = 355 PG a dz 7 (A.10) 


CHA? Cay) FE ACTER 2 = zo 处 的 n 阶 导数 。 式 (A,10) 出 式 (A.9) 对 zo 求 导 得 出 。 





HZA £ E Ë 621 


柯 西 不 等 式 
假设 边界 6 包含 了 一 个 以 az 为 中 心 .半径 为 > 的 圆 。 利 用 式 (A.10) 计 算 A (z) 的 幅 值 ， 


可 以 写 出 
f(z) a] < = a r ldz] 


K4 (z = a lz - 
1M 
<i fk - 5 = Zian so 
AH, M 是 扎 z) 沿 积分 的 最 大 值 。 不 等 式 (A.11) 称 为 柯 西 不 等 式 。 
A.3 罗 朗 级 数 


设 函 数 f(z) 在 图 A.2 所 示 环 形 区 域 及 其 边界 解析 。 该 区 域 由 两 个 同心 圆 % 和 % 组 成 ， 
其 共同 中 心 为 2. QA z= zo + 在 环形 区 域内 部 ,如 图 所 示 。 根 据 罗 朗 级 数 (Laurent series) 











Va = 5 
(A.11) 








f(z + h) - > a, ht (A. 12) 
其 中 ,对 不 同 的 ,系数 为 
IOn. Paine 
= e (Zz — zo) 
a, = (A.13) 
f(z) dz ee 
F e (z — 20) r eaa 
注意 ,f(z) 在 z 点 的 罗 朗 展开 式 为 
f(z) = > a(z — z) (A.14) 





€, 
图 A.2 环形 区 域 


当 所 有 负 指 数 项 的 系数 为 零 时 , 式 (A.14) 可 简化 为 泰勒 级 数 (Taylor series) 
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f(z) = Zz -= x)" (A.15) 
根据 式 (&.10) 和 式 (A.,13) 的 第 一 行 ,可 定义 系数 
[k] 
ay = f nie k =0,1,2,... (A. 16) 
泰勒 级 数 是 于 文 所 讨论 的 刘 维 尔 定理 (Liouville's theorem) 的 基础 。 


刘 维 尔 定 理 


复 变量 z 的 函数 产 z) 有 界 且 在 所 有 z 点 处 解析 ,根据 定 刘 维尔 定理 ,f(z) 为 一 常数 。 
为 了 证 明 这 个 定理 ,首先 注意 到 成 z) 在 z adh ER AE Dir rd Wh FR Py as Bh RY 


-六 


式 (&A,17) 中 震级 数 收 敏 Aiba Wa (2). 边界 6 包含 以 原点 为 圆心 FEA, KA. #8 
后 调用 柯 西 不 等 式 (A.11), 可 得 





(A.17) 


eA < 





(4.18) 


XE, M, 是 了 (x) 在 边界 名 上 积分 所 得 的 最 大 值 。 相 应 地 , 式 (A.17) 中 的 宪 级 数 展开 式 , 其 第 
个 系数 值 被 限定 于 


FO MM 


ja,| = k! Sk Sk 


XE, M Æ|) 的 最 大 值 。 根 据 假 设 ,好 是 存在 的 , 它 是 从 式 (A.19) 导 出 的 。 对 于 半径 为 无 穷 大 
的 情况 ,有 有 





(A.19) 


Lo ke am 


0 k = 1,2,... 
相应 地 , 式 (A,.17) 篇 化 为 
f(z) = f(0) = BR 
这 就 是 刘 维 尔 定理 的 证 明 。 
函数 f(z) FE z RADARSAT PRL E BA RK EIIE, RU AE AS ee BBY VA EPR AOR Wylie & 
Barrett, 1982) : 


对 2 的 所 有 取 值 ,有 界 整 函数 为 常数 。 


A.4 FARR 


;= ay 是 解析 函数 f(z) 的 一 个 奇 点 。 如 果 f(z) 在 点 z= zo 的 邻 域内 没有 其 他 奇 点 , 则 称 
该 奇 点 z= z 为 孤立 奇 点 。 存 孤立 奇 点 的 邻 域内 ,函数 f(z) 可 展开 为 如 下 罗 关 级 数 
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FE 之 ag~ zy). 
= 2a tel az — zo)" + 2s al ieee zn) {A.21) 
= S adz- zo) 十 2 
feo k=! (z = a 


在 孤立 奇 点 z= zo RA A) RRI RARE a PRA OE ;=a 处 的 留 数 。 计 算 解 
桥 函 数 的 积分 过 程 中 , 留 数 起 着 重要 作用 , 将 有 = -1 代 人 起 (A.13), 可 得 留 数 a_, 和 函数 
f(z) 积 分 之 闻 的 关系 式 


PEE =F $f dz (4.22) 


下 面 ,考虑 两 种 重要 情况 : 


1) f(z) 的 罗 朗 展开 式 包含 无 穷 多 项 z- z HURRA IRCA. 2). A z- z RA fia) 
的 本 性 奇 点 。 
2) f(z) 的 罗 关 展开 式 最 多 包括 m 项 z - zo AK, B 





Dl eo ee 
= a Loam % bha Dd 
天 = 名 žo {z = TA {z T xz 六 (A.23) 


AMER BWR z= zo 为 fz) 的 m BRA. SCA EFT RRRA Fz) 
在 z= z 点 的 主 部 。 

注意 , 当 极 点 z = zo 是 关 阶 极点 时 ,极点 的 留 数 由 下 陈 给 出 
Lm 1 pa = zo) f(z) | (A.24) 
实际 上 ,通过 利用 这 个 公式 ,可 以 不 必 导 出 罗 朗 级 数 。 当 阶 数 m = 工时 ,该 极点 称 为 单 极点 。 
式 (A.24) 简 化 为 单 极点 留 数 公式 


a, = 


= lim (z ~ zo)f (2) {A.25) 


A.5 柯 西 留 数 定理 


z 域 的 闭 曲线 8 包含 了 函数 BTML RR KK zst. 定义 了 这 些 奇 点 的 位 
置 。 以 这 些 奇 点 为 图 心 做 一 足够 小 的 六 ,使 其 不 包含 f(z) 的 其 他 奇 点 ,如 图 A.3 所 示 。 初 始 
边界 % 和 这 些小 圆 一 起 组 成 了 多 连通 区 域 的 边界 。 在 这 个 区 域 中 ,f(z) 处 处 解析 。 因 此 ,可 以 
应 用 柯 西 定理 。 ae 对 图 中 的 情况 ,可 以 写 出 


可 L gro dz + gj frok A n frod (A.26) 


注意 .沿边 界 & 的 积分 路 径 是 正方 向 ( 即 着 时 针 方向 ) «FH Re 
时 针 方 向 )。 
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假设 反 转 图 中 各 小 加 的 积分 方向 ,相当 于 将 式 (A.26) 中 沿 各 小 加 的 围 线 积 分 取 负 值 。 因 
此 , ROR ANAS... €. 的 所 有 积分 都 取 为 道 时 针 方 向 时 , 式 (A.26) 可 写 为 


i 1 l 
ay ffod -gjf k po + oj frod (A.27) 


根据 定义 , 式 ( 和 .27) 右 边 的 积分 即 为 尊 数 Az) 在 边界 旬 内 各 个 孤立 奇 点 的 留 数 。 因 此 ,可 以 得 
Bf) MACH ETA 

Pla) de = Inf $ Rest f(2), za) (A.28) 
HP Relf) a ER EMRA 2 =, MERO KCA 28) PRATT Be, ROR 
说 ,在 函数 理论 中 这 个 公式 非常 重要 ,尤其 是 定 积分 的 计算 。 





图 A.3 FERM 


A.6 ARE 


考虑 一 复 函 数 f(z), 基 特征 好 下 : 

1) 函数 f(z) 在 闲 曲 线 % 的 内 部 除了 在 有 限 个 极点 处 不 解析 外 ,在 其 他 地 方 处 处 解析。 

2) f(z) 在 闭 曲 线 @% 上 无 零 、 极 点 。 所 谓 零 点 , 即 ; RP fz) =0 的 点 。 相 反 , 所 谓 极 点 即 
f(z) = ww 的 点 。N 是 fz) 在 边界 名 内 部 零点 的 个 数 ,而 严 是 极点 个 数 ,这 里 对 每 个 零 





点 或 极点 的 计数 已 考虑 其 多 重 性 。 
于 是 ,有 如 下 定理 (Levinson & Redheffer, 1970; Wylie & Barrett, 1982) 
1 f(z} 
—— $——dz=N-P 
Raj Je F ee 


这 里 ,和 通常 一 样 (Rm AR. ERB 
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a FR) a 
dz In fiz) = Fa dz 
AF n 表示 自然 对 数 ,从 庙 有 
ach dz = In f(z) = In|f(z)le + j arg f(z)he (4.30) 
¢ Fiz} 


其 中 17(z) | 表示 f(z) POMBE, ag ORA f(z) 的 幅 角 。 式 (.30) 右 边 的 第 一 项 是 零 , 而 且 对 
HRR Inf z) 是 单 值 函数 ,边界 6 为 团 曲 线 , 故 有 


Fiz), 
$ Foy de = jare flz)le (A31) 





将 式 (A.31) 代 入 式 (A.29), 可 得 
N-P = = arg fale (A.32) 
这 个 结果 是 式 (&.29) 所 述 原理 的 另 一 种 表达 形式 , 称 为 幅 角 诛 理 (pnnciple of the argument} < 
为 了 几何 解释 幅 角 原理 ， 设 8 是 z 域 的 闭 曲 线 , 如 图 A,4(a) 所 示 。 当 z 沿边 界 有 以 道 时 针 
方向 运动 时 , w= f(z) 在 w 域 的 运动 轨迹 为 边界 & 。 为 了 便于 说 明 , 名 也 示 于 图 A.4(b) 中 。 
E w RO ARASA w= f(z) 做 一 直线 ,如 图 A.4(b) 所 示 。 这 条 直线 与 图 中 水 平 线 的 夹 角 6 
为 arg f(z)。 幅 角 原 理 给 出 了 当 复 变量 z 沿边 界 @ 道 时 针 运 动 时 ,点 凤 = fC) w 域 绕 原 点 


CHIL w = 人 0 旋转 的 周 数 。 
K 


z 
g 


(a) RARE (b>) vA e Eea 


HA4 幅 角 原 理 示意 图 


EK 


函数 护 2) 在 闭 曲 线 @ 及 其 内 部 解析 。z (zi 是 二 次 函数 。 它 和 关切 一 样 满足 解析 性 ,同时 


在 边界 & 上 还 满足 如 下 条 件 
If) > lgl) 


H, ERE 


626 自 适 应 滤波 器 原理 














gl 
gíz) 
Fiz) = 
(z) PR (A.34) 
此 函数 在 € 上 无 零点 或 极点 。 对 F(z) 应 用 幅 角 原理 ,有 
N-P= > arg Fiz)ls (4.35) 
然而 ,由 式 (4.33), 当 = 在 边界 4 时 ,5(z) 满 足下 式 
F(z) | ed (A.36) 
TH we = FOZ) FL we = 上 为 圆心 的 单位 圆 内 部 ,如 图 4.5 所 天 。 因 此 
larg F(z)| a WEE 上 的 z (A.37) 
或 等 价 地 ,有 
(4.38) 





MEAS 单位 两 内 闭 曲 线 上 的 点 w = F(z) 


由 式 (A.38) 可 以 推出 入 = ,这 里 NN 和 P 都 是 对 应 于 f(z) 的 。 根 据 式 (A.34) 对 Fz) 的 定义 ， 
可 以 看 出 F(z) 的 极点 是 A(z) 的 零点 ,F(z) 的 零点 是 f(s) + g(z) 的 零点 。 因 此 ,N=P 意味 
a f(z) + g(z) 和 ft3) 有 相同 的 零点 ,这 个 结果 称 为 颂歌 定理 (Rouché s theorem) ,表述 如 下 : 

i BAR f(z) Fo g(z) 在 闭 易 线 @ 及 其 内 部 解析 ,并 设 在 6 上 |/(z)| > 1g(x)1。 则 在 边界 @ 

的 内 部 g(z) + f(z) 和 f(z) 有 相同 的 零点 。 

举例 

考虑 图 A.6(a) 中 所 示 的 边界 线 。 这 条 边界 线 组 成 了 z 域 中 多 连通 区 域 的 边 罩 。 严 (z) 和 Ga) 
是 关于 z"! 的 两 个 多 项 式 。 在 边界 线 上 及 其 内 部 , F(z) 和 GUEA tah, SIPC) > lG) 
MERER, Fli F(z) + G(z) 在 图 和 .6(a) 所 示 区 域内 有 相同 的 零点 。 

假设 令 外 图 (6 的 半径 民 赴 于 无 穷 ,同时 令 边 界 的 两 条 直线 之 间 的 间隙 工 上 艳 于 0。 在 这 个 极 
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限 情 况 下 ,该 边界 围 威 的 区 域 包括 了 内 圆 色 外 部 的 所 有 地 方 , 如 图 A.6(b) 所 示 。 换 向 话说 ,多 
HX F(z) 和 F(z)+ C) AME 外 部 有 相同 的 零点 。 [注意 ,这 里 圆 鸣 | 是 顺 时 针 方向 ( 即 负 
方向 的 )。] 


A.7 2z 变换 的 反 演 积分 


第 A.1 节 至 第 A.6 节 所 讲述 的 内 容 适 用 于 一 般 的 复 变 有 垦 。 本 节 及 后 面 所 讨论 的 足 一 种 
特殊 的 复 函 数 , 它 由 一 系列 离散 时 间 样 本 的 z 变换 定义 。 

X( 2) BAP a(n) 2 BR, CREPE KR R < 1z1 < R 内 收 敏 于 一 解析 函数 。 根 据 
定义 ,于 (z) 可 写 为 罗 朗 级 数 


X(z)= Pxmz™ Re<lkl<R, (A.39) 


这 里 ,为 了 表示 方便 ,用 m 代替 作为 时 间 的 下 标 。% 是 收敛 域内 的 一 条 闭 曲线 。 


Im [z] 
Im fz] 


Re [z] 





(b) Rœ, 1 一 0 时 ,图 (a) 中 区 域 的 极限 情况 
AAS MERA BA 
然后 FETC A.39) PALI A ,沿边 界 @ 逆 时 针 方 向 积分 ,并 交换 积分 和 求 和 的 咕 


(a) 多 连通 域 


序 , 可 以 得 到 
1 are dz 
nj L gx (jer mae) nj f: 5 (A.40) 
这 种 积分 和 求 和 的 顺序 的 交换 E ; mE X(2) HP RBS LB, S 
z = re? R<r< R (A.41) 
则 
Z2 严 一 pi mMgi(n—m)e 
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dz 
z “id 


因此 ,可 将 式 (A.40) 右 边 的 围 线 积分 写 为 


os n-m dz = i am nm 
2 tes z 21 4} 5 do 
(A42) 
£ 1 m=n 
|, mn 
将 式 (A.42) 代 人 式 (A.40) ,可 得 
1 a dz 
x(n) = Znj $x) : (A.43) 


TOC A.43) FRY = 变换 的 反 演 积分 公式 。 


A.8 由 斯 维尔 定理 


了 (zz) 表示 序列 x{n) 的 z FER, oe (oo OUR Ri < lel < 局,。 了 (lz) 表示 男 一 序列 
y(n) AY z 变换 ,y(n) 的 收敛 域 为 R < 1z1 < 避 ， 析 斯 维尔 定理 (Parseval's theorem) 描 述 如 下 


这 里 CEEE X(2) M Serer one eee Y(z}) 在 此 区 域 解析 。 将 
Xi 中 的 了 用 了 xz 来 代替 ,然后 取 共 虑 可 得 函数 Y (1/z' ) ,注意 Y (11z" ) 也 是 解析 的 。 
nic 我 们 利用 式 (A. neces 出 


> x(n)y*(n) = ae > y*( fxr => PX(z) > pine Z {A.45) 
由 yin) AY 2 ERE, BD 


可 以 得 到 
r+ 三) = py y*(n)z" (A.46) 
因此 ,将 式 (A.46) 代 入 式 (A.45) ,可 得 式 (A.44) 给 出 的 结果 ,从 而 帕 斯 维尔 定理 得 证 。 


附录 B 对 回 量 微分 


往 最 优化 理论 中 ,经 常 遇 到 的 一 个 问题 尽 代 价 函数 对 感 兴趣 参数 向 量 的 微分 。 在 这 一 附 
录 中 ,我 们 用 常用 的 梯度 法 。 附 录 B 解决 代价 蛆 数 对 复 值 参 数 问 量 的 微分 中 一 些 较 难 的 问 


B.1 基本 定义 


复 函数 成 ww) 由 参数 向 量 mw 决定 。 当 ww 是 复数 时 ,有 两 个 不 同 的 数学 概念 需要 分 别 注 意 : 
(1) v 本身 是 向 量 ;(2)w 向 量 中 的 每 个 元 素 都 是 复数 。 
首先 解决 复数 问题 。 令 x Ay, 分 别 代表 向 量 w 中 第 上 个 元 素 w, 的 实 部 和 虚 部 , 即 


Uy = Xk + Fy {B.1) 
AA iit BT 4B SE Xg DA RAR HAB. 1), HJEMR W 和 wi 表示 Wi FO SERB x, 为 
x, = 3(w, + wf) (B.2) 
表示 w, BER y 为 
1 
Yk 二 3; (ue = wy) (B.3) 


PES, Bo, Ay, 都 是 w, 和 wx 的 函数 。 根 据 柯 西 - 歼 曙 (Cauchy-Riemanmny) 
方程 ,只 有 在 处 理解 析 郑 数 时 , 才 不 用 考虑 共 蜀 项 wi 。 然 而 ,在 物理 和 工程 中 所 过 到 的 大 
儿 数 函数 都 不 是 解析 函数 。 

导数 的 概念 必须 和 微分 联系 起 来 。 尤 其 是 必须 遵守 包括 变量 变化 的 一 系列 微 积 分 原则 。 
考虑 到 这 些 要 点 ,并 根据 实 导 数 ,可 以 定义 复 导数 为 (Schwartz，1967) 








a 1 d .DD 
| Se 
和 
a 1/4 _@ 
ere Cre (a) 
这 里 定义 的 导数 满足 以 下 两 个 基本 要 求 
aw, 
——=] 
any, 
OW awk 
dwt ðw ° 


(解析 函数 了 处 处 满足 araz = 0). 
下 面 考虑 向 量 微分 问题 。 令 wo, ws. ww._! 表 示 复 向 量 w 中 的 元 素 。 将 式 (B.4) 和 式 
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(B.5) 推 广 应 用 于 应 对 这 种 新 的 情况 ,可 写 出 











Ee 
aXy d Yp 
a a 
d 1 So 
iw 3 ax, | dy (B.6) 
9 ee 
Xm- af-1 
和 
| 3 a 
aX, d Yo 
d 
a Lt) —>—+j>— 
aw* 2 ae ay, (B.7) 
Gi 











L Oxy-1 dyw-1 
HP w, =a, + fy, 8=0,1,...,M-1. Of 下 表示 相对 于 向 量 w 求 导 ,3/ w Ba 
数 。 这 两 个 导数 一 起 考 虚 , 必 须 满足 下 列 关 系 式 


ow 


aw 
All 
ow Z ow" 
aw* aw 





这 里 , 工 是 单位 阵 ,O 是 零 矩阵 。 
后 面 ,将 用 式 (8.7) 的 定义 ,作为 复 向 量 的 导数 。 


B.2 示例 


这 一 节 , 我 们 举例 说 明 式 (B.7) 所 定义 的 导数 的 应 用 。 这 些 例子 来 自 第 2 章 的 最 优 线性 滤 
波 问 题 和 第 8 章 的 最 小 二 乘法 问题 。 


Pi 
p 和 W 表 示 两 个 复 值 则 xl 向量 ,考虑 两 个 内 积 p'w # wp, 
A opw o KT wHRRPRE 
ot = (ptm) = 0 (B.8) 
HP OLEHE, EE piw 是 解析 画 孝 ( 参 见 第 2 章 习题 1)。 我 们 可 得 出 P Ww 关于 古 
的 导数 是 朋 , 与 式 (B.3) 一 致 。 
直面 ,者 由 oew pe。 co 关于 路 的 共 耗 叶 数 是 
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ae, tt a 
net oot P= age PP (B.9) 


这 里 ,注意 wp KAM BHR(ALA2ZE DMI), AAT w pta t wo pat 
AX (B.9)—-K. 








例 2 
RAM 
c= w'Rw 
APRE- TERRIER, KA c 关于 WW 的 共 恩 时 数 为 
oe (B.10) 
= Rw 
由 例 1 中 的 两 个 结论 容易 证 明 式 (了 .10) 的 正确 性 ,这 个 问题 留 给 读者 作为 练习 。 
例 3 


考虑 一 实 代 价 函 数 { 和 参见 第 2 章 ) 
J(w) = a3 — wip — p!w + wi Rw 
利用 例 1 FeO) 2 的 结论 ,得 出 J ATRAE w AATE 


at 
aw" 


v SWKARAE WHR, MHA BK I RD FH TI w" =0, Ab AX 
(B.11) T 





=—p + Rw (B.11} 


Rw, =p (B.12) 


这 就 是 工作 于 稳 态 环境 下 的 横向 滤波 器 (由 相关 目 阵 RAEM AE pE) A-E 
夫 (Wiener-Hopf F RHEE R., 


例 4 
考虑 实 对 数 似 然 函 数 (参见 第 8 章 ) 
eR l (B.13) 
T 
其 中 天 是 常 教 , 且 
e=b- Aw (B.14) 
ACB.) RAAB. 13) ,得 
i(w) =F - = bsb + A haw + eA z 5 wiAl Aw (B.15) 


计算 LAD WORE HAAG 1 和 例 2 的 结果 ,可 得 
Tea 7 Ab + Aw 
aw * r oe 


SOW =O RBI ,得 





Ab — A” Aw, = 0 
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其 中 w, EPR BRP AL ERIE, Ae 
AM Aw, = AMb (B.16) 


这 是 最 小 二 乘法 正则 方程 的 短 阵 形 共 。 式 中 息 是 输入 和 星 降 ,bb 是 期 望 响应 向 量 。 


B.3 相对 于 向 量 的 导数 与 梯度 向 量 的 关系 


考虑 一 实 代 价 画 数 jw) , 它 定 义 了 一 个 横向 线性 滤波 器 的 误差 性 能 平面 ,其 抽 头 系数 向 
BOA wo 在 第 2 章 , 泛 差 平面 的 梯度 冉 量 定义 为 


as Ad 
Xa ayy 
ad at 
We=} ax, ay, (B.17) 


ad af 
Seg 
OX At -1 OF-1 
其 中 w+ jy MLR R wh k AIR, k=0,1,.... 4-1. 梯度 向 量 是 误差 性 能 平 
EAEE., EER. TPAR, IPARA H. HAR w 与 梯度 向 量 WJ 关系 如 下 


37 
ws (B.18) 


因此 ,在 不 考虑 比例 系数 的 情况 下 ,第 2 BSP 28 BS REMA D Pe eB 
义 是 一 至 的 。 








附录 CRAB He ie 


Fee ff E ek 6 fa Fe A eT, AA ia SE BE FE RT OR Ah. 
BGA REAL COR A a) RB PRY RR oS ee RAE. AH 
UF A Pee PM SF RE A BOR eR AL LE ak, TERE PTR 
们 推导 出 经 典 的 拉 格 朗 日 儿子 法 (method of Lagrange multiplierns) 米 解决 约束 最 优化 问题 ， 推 导 
中 用 到 的 一 些 概念 受到 我 们 所 熟 炙 的 应 用 特性 的 影响 .首先 督 虚 只 有 一 个 边界 条 件 的 情况 ， 
然后 讨论 更 一 般 即 有 多 个 边界 条 件 的 情况 . 


C.1 只 含 一 个 等 式 约束 的 最 优化 


LAR fw) EB Rey Bt 多 的 二 次 国 数 ,约束 条 件 是 
wig = xg (C.1) 
其 中 5 是 已 知 向 量 ,g 是 复 常 数 。 可 以 通过 引 人 一 个 关于 四 的 线性 函数 cf(w) 来 重新 定义 这 个 
约束 条 件 。 有 即 


ctw) = wis 一 g 


= 0+ 70 
通常 ,向 量 w Als. pa cf w) 均 为 复数 。 例 如 ,在 一 个 波 东 形成 应 用 中 ,向 量 w 表示 各 传感器 
输出 的 一 组 复数 权 值 。s 表示 一 个 转向 向 量 , 其 元 素 巾 指定 的 观察 方向 定义 。 函 数 Sw) BR 
小 值 表 示 所 有 波束 形成 器 输出 的 均 方 值 。 在 谐 波 恢复 应 用 中 ,w 表示 横向 请 波 器 的 抽 头 权 向 
Bs 是 一 个 正 汞 向 量 ( 其 元 素 由 受 滤波 器 输入 限制 的 复 正 弦 国 数 的 角 频 率 来 决定 ) ;函数 w) 
表示 滤波 器 输出 的 均 方 值 。 不 管 怎样 ,假设 这 个 问题 是 一 个 最 小 化 问题 , 则 可 把 该 约束 最 优化 
问题 描述 为 


(C.2) 


min f{(w) 
s.t c(w) = 0+ j0 
ALAS BA BRP esa at ARA Be Ea oR Se) Ce oR eA A 
题 。 首 先 ,利用 实 函数 fw) MARRAREN c(w) 定 义 一 个 新 的 实 函 数 


(C.3) 


h(w) = f(w) + A,Re[e(w)] + AJm[e(w)] (C4) 
HOP a, 入 ASCH AR, H 
ciw) = Rele(w)] + j Im[c(w)] (C.5) 


ME, EXT RH RT 
A= A, + jag (C.6) 


可 将 式 (C.4) 写 为 
hiw} = f(w) + Refate(w)! (C.7) 
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其 中 星 号 表示 共 罗 复数 。 
THEATRE h(w) 关 于 向 最 w 的 函数 最 小 值 , 令 共 辆 导数 3h13 w 等于零 向 量 , 即 
ues, ge .0 (Rel are(w)]) = (C.8) 
awt Ow | 
斌 (C.8) 和 式 (C.2) 约 束 条 件 的 联 立 方程 组 定义 了 向 量 w 和 拉 格 朗 日 乘 子 \ 的 最 优 解 。 式 
《C.8) 称 为 伴随 方程 , 式 (C.2) 称 为 初始 方程 (Domy ,1975)。 


C.2 包含 多 个 等 式 约 束 的 最 优化 


下 面 , 考 虑 实 函 数 fw MME, Se Aw) wih KR RTS TR 
性 约束 条 件 


wie, = gy k= 1 (C.9) 
其 中 约 康 的 个 数 KATHE w 的 维 数 ,g; 是 复 常数 。 可 将 这 个 多 约束 景 优化 问题 表示 为 
in f(w) 
st Bor- D+, k=1,2,...,K (C.10) 
由 第 C.1 节 的 结果 容易 获得 这 个 最 优化 问题 的 解 。 特 别 地 ,将 伴 瑚 方程 
K 
aoe > jar Refatex(w)]) = 0 (C.11) 
和 初始 方程 
ew)=0+j0 k=1,2,...,K (C.12) 


联合 组 成 方程 组 。 这 个 方程 组 定义 了 向 量 w ASA BSR A, aa... ,4x 的 最 优 解 。 


C.3 BRR Ma 


通过 下 面 的 示例 ,考虑 求 波束 形成 器 权 向 量 PD, BY BK 
f(w) = ww (C.13) 
在 如 下 约束 条 件 
e(w) = wis - g = 0 + j0 (C.14) 


下 的 最 小 化 问题 。 这 个 问题 的 伴随 方程 为 
a 9 
aw* aw* 


用 附录 B 导出 的 微分 规则 ,我 们 有 








(ww) + — (Refa*(w"s — g)}]) = 0 (C.15) 


—  {wiw) = w 
=; (Re[aiwis - g)]) = Ats 


将 这 些 缚 果 代 入 式 人 C.15) ,可 得 


附录 上 ste RT 





wtaA*ts = 0 
其 次 ,由 式 (C.16) 解 出 未 知 数 1 ,得 
ss 5's 


最 后 ,将 式 (C.17) 代 大 式 (C.16) 并 求 权 向 量 w ,得 


* 
= (£ 小 
s 8 





Show, 满足 式 {C.14) 的 约束 条 件 且 可 能 在 最 小 长 度 的 音义 上 它 是 最 优 的 。 


(€,18) 


MD 估计 理论 


估计 理论 是 概率 论 和 统计 学 的 一 个 重要 分 点 , 它 由 一 组 给 定 的 观测 样本 导出 随机 变量 和 
随机 过 程 某 些 特性 的 信息 。 这 个 问题 经 常 出 现在 通信 和 控制 系统 的 研究 中 。 最 大 似 然 法 是 日 
MERI 最 强 有 力 的 合计 方法 。 它 最 早 由 著名 的 统计 学 家 R.A. Fisher 在 1906 年 使 用 。 原 则 
上 ,最 大 似 然 法 可 用 于 和 任 一 估 值 问题 ,但 以 能 组 成 可 几 观 测 数 据 的 联合 概 兴 密谋 尖 数 为 条 件 。 
这 个 方法 可 将 几乎 所 有 熟知 的 佑 值 问题 作为 特例 。 


D.1 MAAR 


最 大 亿 然 法 基于 一 种 比较 简单 的 思想 (Kmenta1971): 


不 同 的 群体 产生 不 同 的 数据 样本 ,而 给 定 的 数据 样本 比 从 其 他 群体 中 产生 的 样本 具有 更 
大 的 相似 性 。 
S 太 (al9) 表 示 随 机 向 量 U 的 联合 条 件 概 率 密 度 函 数 。U 由 元 素 为 usti... wy 的 观 
测 样本 向 量 u 来 表示 ,其 中 8 是 元 素 为 9 ,9,，... 0 的 参数 向 量 。 最 大 似 然 法 是 基于 这 样 一 
个 原理 , 即 给 定 观测 样本 向 量 u, 我 们 可 用 参数 向 量 6 最 可 能 的 值 来 估计 该 向 量 。 换 向 话 说 ， 
By Boy cen Og 的 最 大 似 然 估计 器 是 联合 条 件 概率 密度 函数 广 (alB) 为 最 大 时 参数 向 量 的 值 。 
似 然 函数 [ 记 为 上 (9) ] 由 联合 条 件 概率 密度 函数 六 (ut9) 给 出 , 它 是 参数 向 量 8 的 函数 , 因 
此 ,可 以 写 为 
I(B) = 所 (ai9) (D.t) 
尽管 联合 条 件 概率 密度 函数 和 似 然 函数 具有 完全 相同 的 公式 ,但 区 分 二 者 之 间 的 不 同 物理 含 
义 是 至 关 重 要 的 。 在 联合 条 件 概 率 密度 函数 中 ,参数 向 量 8 是 固定 的 ,而 观测 向 量 u 是 变化 
的 。 而 在 伏 然 函数 中 ,参数 向 量 6 是 可 变 的 ,观测 向 量 悍 是 固定 的 。 
在 许多 情况 下 ,用 似 然 函 数 的 自然 对 数 比 用 它 本 身 更 方便 ,因此 ,常用 ZL(6) 表 示 对 数 似 然 
函数 记 为 
L(8) = In[{(9)] = in[fu(a|6)] (D.2) 
对 数 函数 LOR 1( 人 的 单调 变换 式 。 这 意味 着 当 1(8) 增 大 时 ,1(9) 也 增 大 。 因 为 表示 联合 
条 件 概率 密度 函数 的 1(8) 不 可 能 是 负数 , 故 计 算 其 对 数 就 不 会 有 有 问题 。 因 此 可 以 得 出 结论 ， 
似 然 函数 1(9) 取 得 最 大 值 的 参数 向 景 完全 同 于 对 数 似 然 函数 L(9) 取 得 最 大 值 的 参数 向 量 。 
为 了 得 到 参数 向 量 6 最 大 似 然 估 值 的 第 8 个 元 素 ,我 们 计算 对 数 似 然 函数 关于 8, 的 偏 导 
数 并 令 其 结果 为 零 。 于 是 ,得 到 一 组 一 阶 条 件 
OL 
a 
对 数 似 然 函数 对 9 的 --- 阶 偏 导 称 为 参数 的 得 分 ,这 个 参数 向 量 就 是 得 分 向 量 { 即 梯度 向 量 )。 


0 i=1,2,...,K (D.3) 
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在 参数 取得 最 大 似 然 估 值 时 , ed aE [BO HY HRD. RH Jo 

为 了 评价 最 大 似 然 方法 的 有 效 性 ,可 以 计算 每 个 参数 估计 值 的 偏 益 和 一 致 性 。 然 说 这 是 
很 难 做 到 的 。 办 此 ,代替 是 接 进行 计算 ,我 们 推导 出 任 一 无 偏 估计 演 差 的 下 限 。 如 果 估 计 值 的 
平均 值 和 待 估计 的 参数 值 相等 , 则 涪 这 个 估计 是 无 偏 的 。 后 商 我 们 会 给 出 最 大 伺 然 估计 的 方 
差 与 这 个 下 限 之 间 的 比较 。 


D.2 Cramér-Rao 不 等 式 


U 是 一 随机 变量 ,联合 条 件 概率 密度 尚 数 为 乒 (ul 的 ,这 里 幸 是 元 素 为 u,,u,,...,u4 的 


























观测 样本 向 量 ,而 O ELKA fhar d SARE., Ft (1.2) LA RR wR 
L(8) FFARR AS Eee A (U8), BT Asi K To K FUR RE 
K | aL | | Lh | 
gj d0 00 0,38. 
| LL | #8 [ PL | 
E E aaa E! a 
J=- 46,48, aes L 305.46, (D.4) 
FL FL rL 
dl dl ~ AGH 
i 06; 00, HO a8, apy, 
矩阵 J PRA Fisher (A. EE. 


令 工 表示 Fisher 信息 矩阵 J 的 道 阵 ,17 RE LAH i 个 对 角 线 元 素 。 令 Â HBR. 
大 于 观测 样本 的 无 偏 估 计 , 则 可 写 出 (Van Trees, 1968) 
var[B > 4; i=1,2,...,k (D.5) 
式 (D.5) 称 为 Cramér-Rao 不 等 式 。 它 使 得 我 们 能 够 构造 出 任 一 无 偏 佑 计 器 方差 的 下 限 { 大 于 0)， 
当然 ,需要 知道 对 数 似 然 函 数 。 该 下 限 称 为 Cramér-Rao 下 界 。 ， 
如 果 能 找到 一 无 篇 估计 器 ,其 方差 等 于 Cramér-Rao FAs MAAD. SAA, AAEE 
计 误 差 最 小 。 这 样 一 个 估计 器 就 可 说 是 有 效 的 。 


D.3 最 大 似 然 估计 的 性 质 


最 大 似 然 估计 法 不 私 是 一 个 基于 直观 的 想法 (从 实际 观测 样本 中 得 到 的 参数 具有 更 大 的 
相似 性 ) ,而 且 情 人 秆 结果 也 具有 某 些 预期 的 性 质 。 实 际 上 ,在 上 分 一 般 的 情况 下 ,可 证 明 下 而 的 
渐进 特性 (Kmenta,1971): 

1, 最 大 似 然 估计 器 是 一 致 的 。 也 就 是 说 , 当 样 本 长 度 寻 赵 于 无穷 时 ,每 个 偏 导数 0 La 8, 

= 人 0 依 概率 收 襄 于 8. 的 真 值 ,i =1,2,...,Kao 

2. 最 太 似 然 估计 器 是 渐进 有 效 的 , 即 
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其 中 ,8 是 参数 8 的 最 大 似 然 估计 ,1 是 Fisher 信息 抢 阵 的 道 阵 的 第 i 个 对 角 元 素 。 
3. 最 太 似 然 佑 计 器 是 渐进 矶 斯 的 。 
在 实践 中 可 以 发 现 ,最 大 似 然 估计 器 的 大 样本 性 质 在 样本 长 度 M = 50 时 是 相当 好 的 。 


D.4 条 件 均 值 估计 


估计 理论 中 的 另 一 类 经 典 问 题 是 随机 参数 的 只 时 斯 (Bayes) 佑 计 。 这 个 问题 有 多 种 答案 ， 
取决 于 贝 咱 斯 估计 中 代价 函数 的 组 成 形式 (Van Trees, 1968)。 本 书 中 我 们 所 关注 的 是 中叶 斯 
估计 的 一 种 特殊 形式 , 即 所 谓 条 件 均 值 估计 。 现 在 ,我 们 希望 做 两 件 事 :(1) 推 导出 条 件 均值 公 
式 ;(2) 证 明 这 种 估计 等 同 于 最 小 均 方 误差 估计 。 

为 了 达到 这 个 目的 ,考虑 -个 随机 参数 *。 观测 值 y 取决 于 x, 而 且 要 求 信 证 x. 令 %(Y) 
表示 参数 x 的 估 值 。 符 号 4 y) 和 表明 情 计 值 是 观测 值 y 的 函数 。 令 C(x ,4(Y)) 表 示 一 个 取决 
于 x 和 4(7y) 的 代价 函数 。 则 根据 贝 片 斯 估计 理论 ,可 与 出 如 下 风险 表达 式 {(Van Trees, 1968)。 


R= EIE = [ax fel, zy) ee vey wa 


其 中 fy(x,y) 表 示 x 和 7 的 联合 概率 密度 函数 。 对 于 特殊 的 代价 消 数 Cix, eC y)), EPR 
估计 定 交 为 使 风险 名 为 最 小 的 佑 值 (y) 

人 人 和 们 特别 感 兴趣 的 代价 函数 (本 书 的 核心 内 容 } 是 均 方 误差 函数 ,规定 为 估计 误差 的 平方 ， 
悄 计 误差 定义 为 参数 x 的 真 值 与 估 值 4{y) 之 差 , 即 





2 = x— x(y) (D.7) 
相应 地 ,代价 隙 数 定 头 为 
C(x. 2(y)) = C(x — ¥(y)) (D.8) 
或 简写 为 | 
Cle) = & (D.9) 


因此 ,代价 函数 随 着 估计 误差 s 的 变化 而 变化 ,如 图 D.1 中 的 曲线 所 示 。 这 里 假设 x 和 y 都 是 
实数 ,因此 对 于 目前 的 情况 ,可 将 式 (D.6) 写 为 


ee =f “ar [Ix - Cy) | fy. v(x, y)dy (D.10) 
HH ARR PRR FREENET., BBC A 
fy yix y) = frlalWAO) (D.11) 


其 中 f(x1y) 是 在 已 知 y 的 情况 下 x 的 条 件 概 率 密度 务 数 。f(y) 是 y 的 边际 概率 密度 函数 。 
因此 ,将 式 {D.11) 代 入 式 (D.10), 可 得 


Ams = [an fix — Fy) P fx(xiy) dx (D.12) 
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CO) 


E 
0 


图 D.1 作为 一 次 代价 函数 的 均 方 误差 曲线 图 


由 此 可 见 , 内 积 与 式 (D.12) 中 的 fy ) 都 是 非 负 的 。 因 此 可 以 通过 令 内 积 最 小 化 来 使 风 
险 9 最 小 。 这 样 得 到 的 估 什 用 taO RR. WEN 4(y) 求 导 并 令 其 为 零 , 即 可 求 出 (7)。 
为 了 简化 这 个 表达 式 , 令 7 表示 式 (D.12) 中 的 内 积 , 然 后 了 对 8(y) 求 导 ,可 得 
df ao R a 
E 7-2 f ta + 280) fely er (D.13) 
式 (D.13) 右 边 的 第 二 项 积分 表示 概率 密度 曲 绕 下 的 总 面积 , 故 为 定 值 。 令 导数 aide = 0, 即 
得 


Faly) = f “afx(xly)dx (D.14) 


AOD. 14) EAR EE Be ME 

OINEI fal BRERA RE IAA, BOA ms RP ip. AAEE 
有 另外 一 种 解释 , 即 等 式 右边 的 积分 就 是 在 给 定 y 的 情况 下 zx 的 条 件 均值 。 

因此 可 以 得 出 结论 ,最 小 均 方 误差 策 值 4&{y) 和 条 件 平 均 估 值 实 质 上 是 同一 回 事 , 因 此 是 
相等 的 。 换 名 话说 ,我 们 有 

Emly) = Elx!y] (D.15) 

用 式 {D.15) 代 赫 式 (D.12) 的 佑 值 *(y) ,容易 发 现 ,内 积 就 是 在 给 定 y 的 条 件 下 x 的 条 件 方差 。 
因此 ,风险 钢 w 的 最 小 值 是 所 有 观测 值 y 的 条 件 方 差 的 平均 值 。 


Bat E 特征 分 本 


在 这 往 附 录 中 ,我 们 详 述 广义 平稳 离 效 随机 过 程 的 统计 特性 。 根 据 第 1 章 我 们 知道 ,这 个 
过 程 的 集 平 均 相 关 和 矩阵 是 埃 尔 米 特 (Hermitian) AY. 埃 尔 米 特 矩阵 的 一 个 重要 特点 是 , 它 允 许 
根据 其 特征 值 及 其 相关 的 特征 向 莉 进 行 有 用 的 年 阵 分 解 。 这 个 表示 形式 通常 称 为 特征 值 分 析 
(eigenanalysis) ,这 是 统计 信号 处 理 的 基础 。 

首先 ,通过 概述 树 关 矩阵 特征 分 析 问 题 ,开始 特征 分 析 的 讨论 。 然 后 ,研究 相关 和 矩阵 特征 
值 和 特征 向 量 的 人 性质 以 及 相关 的 最 优 滤波 问题 。 最 后 ,通过 简要 描述 特征 值 计算 的 -~- 套 程序 
及 其 相关 问题 ,完成 本 附录 的 讨论 ， 


E.1 特征 值 问 题 


埃 尔 米 特 甜 阵 及 表示 一 个 广义 平稳 离散 随机 过 程 的 M x M 相关 和 矩阵 ,随机 过 程 由 炸 x1 
观测 向 量 u(r) 来 描述 。 一 般 来 说 ,矩阵 可 以 包含 复元 案 。 我 们 希望 找到 一 个 OM x 1 非 零 列 向 
量 q, 使 得 对 于 某 一 常数 ,满足 如 下 条 件 

Rq = Aq (E.1) 
这 个 条 件 表明 RR ARS R, eA g 可 线性 变换 为 矩阵 Ag. ANA 是 常数 , 故 向 量 g 
Ai PRR, REIT AE CE MEER) ATAUR M x M ER R, FE M 
PROF. ATERA ARE.) EA FEER 
(R -ADq=9 (E.2) 
其 中 了 是 Mx MAO Mx Sey, MER- ADL RE Al, SRR 
ECR - 4D 的 行列 式 为 零 时 ,向 景 gq 有 非 零 解 , 即 
det(R — Al) =0 (E.3) 
显然 这 个 行列 式 展开 后 是 4 的 MEERA. RRRRACE3)-RAM 个 根 。 因 此 , 式 
(E.2) 有 时 个 解 。 式 (E.3) 称 为 矩阵 RR 的 特征 方程 。 令 X41 ,42,...， Ag BANA FERIM 个 根 。 
x Hoe BOE R ARAE. EE, AAO F ,通过 求 特征 方程 (下 .3) 的 根来 得 到 矩阵 及 的 
特征 值 不 是 好 的 方法 。 对 于 特征 值 的 计算 ,将 在 后 面 第 5 节 专 门 讨论 。 

令 2, BRE RAR i TREA, BR q; 为 非 零 向 量 , 满 足 

Rq; = àq; (E.4) 
HE qi 称 为 关于 4, 的 特征 向 量 。 一 个 特征 向 量 只 可 对 应 一 个 特征 值 。 然 面 , 一 个 特征 值 可 对 
应 多 个 特征 向 量 。 例 如 ,如 果 gq, 是 对 应 于 1. 的 特征 向 量 , 则 对 于 任 一 不 为 零 的 a, aq, 也 是 对 
应 于 A 的 特征 向 量 。 

尽管 Mx MEERA 并 个 特征 值 ,但 它们 可 以 相等 。 如 果 短 阵 及 有 一 个 特征 值 , 其 代数 
重 数 超过 几何 重 数 , 则 称 和 矩阵 R 是 无 效 的 (退化 的 )。 代 数 重 数 指 特征 值 A, 的 阶 数 ,几何 重 数 
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指 相应 特征 同 量 gq, 的 维 数 。 特 征 值 亏 损 的 一 个 严重 后 果 是 矩阵 及 的 非 对 角 化 (对 角 化 问题 将 
在 第 下 .2 节 中 讨论 )。 


例 1: SER 
一 个 亏损 算 阵 的 标准 示例 是 


RR 的 特征 值 是 
= 入 = 人 0 
对 应 的 特征 向 量 gq BLA 
[a oh- 
满足 


特征 值 1 =0 的 伐 教 重 教 为 2, 因 为 有 两 个 特征 值 。 而 特征 值 的 几何 重 数 是 上, 因为 对 应 的 
特征 向 量 踢 是 一 锥 的 。 所 以 说 给 定 短 阵 及 是 计 损 (让 化 ?的 。 
A2: BAR 

者 虑 一 个 占 嗓 声 过 丢 的 Mx 村 相 关 牌 阵 , 用 如 下 对 角 阵 

R= diag[er2 o,..., 07) 
来 描述 AP r 是 该 过 程 样本 的 方差 。 相 关 短 阵 耻 有 一 个 等 于 方差 o 的 亏 报 的 特定 情 ， 
SRAM, AGE Mx 随机 向 量 可 作为 其 对 应 的 特征 向 县。 这 表明 ,对 于 和 白 骂 声 ， 
一 个 特征 值 MAM PARRA BEE, Ath, ee R= 7 ZAP eR, 


#3: SEO 
下 面 ,考虑 一 个 时 间 序 列 的 Mx 及 相关 抢 阵 ,其 元 康 是 复 正弦 曲线 的 样本 ,幅度 为 1 ,相位 
随机 。 该 相关 矩阵 可 写 为 


1 ee tas eiM -1e 
R- -种 1 . eM-2w 
-Da -2 Si 1 
其 中 aRRLRZHAM AME, Mxl 向量 
q = [Le...s ero] 


AMAER RHH E WAR EMA MPRA 及 的 维 数 )。 换 自 话 说 ,一 个 复 正 续 
向 量 在 排除 一 些 不 重要 的 复 共 辊 处 理 的 情况 下 ,可 表示 出 其 关系 给 阵 本 身 的 特征 向 量 。 
注意 关系 考 阵 民 的 秩 为 1, 这 意味 着 民 的 任 一 列 可 用 其 他 列 的 线性 组 合 来 表示 ( 即 矩 阵 及 
仅 有 一 个 独立 的 行 )。 它 也 意味 着 展 的 其 他 特征 值 是 0, 重 数 为 肿 -1, 且 这 个 特征 慎 对 应 
时 -1 个 线性 无 关 的 特征 向 量 。 
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E.2 特征 值 和 特征 向 量 的 性 质 


在 这 一 节 ,我 们 讨论 平稳 随机 过 程 相关 年 阵 R 的 特征 值 和 特征 向 量 的 各 种 性 质 。 这 里 导 
出 的 一 些 性 质 是 埃 尔 米 特性 质 和 相关 和 矩阵 及 非 负 性 的 直接 结果 ,这 在 第 1.3 节 中 已 经 确立 。 

EAT t Ahn. oin 表示 相关 矩阵 RHA, THE EK b> 0,98 R 的 
特征 值 是 中) AT... Ago 

在 式 忆 .1 的 两 边 重 复 左 乘 矩阵 及 ,得 到 

Riq = àq (E.5) 

XP SEA: CS A EER RAIE, M BR 的 特征 值 ,这 是 人 们 所 期 望 的 结果 ; 
(2)R 的 每 个 特征 向 量 也 是 R 的 特征 向 量 。 

性 质 2 Sash- ,qu PHARM 民 不 同 的 特征 值 41 AL... ,hw 对 应 的 特征 向 
量 山 ,由 ,.….,qw: 则 特征 向 量 为 线性 无 关 。 

我 们 说 特征 向 量 g ,由 ，.. ,qx 为 线性 相关 ,就 是 存在 不 全 为 零 的 标量 mm ,wv ，... ,vw 使 得 


M 
> vq; = 0 (E.6) 
ial 


如 果 这 样 的 标量 不 存在 , 则 说 特征 向 量 为 线性 无 关 。 
我 们 用 皮 证 法 证 明 性 质 2。 假 设 存 在 不 全 为 零 的 标量 w 使 得 式 (E.6) 成 立 。 和 矩阵 好 重复 
左 乘 以 式 ( 卫 .6) ,并 利用 式 (下 .5) ,得 到 如 下 一 组 方程 


M 
2, UAT 91 k= 1,2,...,M (E.7) 


i 2H Fy #2 BO BE 


[gi zzg Duygu]S = 0 (E.8) 
其 中 
和 
sahn i 各 i a (E.9) 
1 ge Sipe ee A 


矩阵 S RY RE TE (Vandermonde) 4E P (Strang. 1980). 24 4, AIRE, TEAR S IRA HE 
BE. Au AE. 8) ARAWE S, 4G 
[wa a Co Oda] =0 
因此 ,每 一 列 og, =0。 因 为 特征 向 量 a 非 零 , 则 当 且 仅 当 n 全 为 零 时 这 个 条 件 才 成 立 ,这 与 
假设 on 不 全 为 零 相 矛盾 。 换 名 话说 ,特征 向 量 为 线性 无 关 。 
性 质 2 有 一 重要 作用 ,即将 线性 无 关 特 征 向 量 d ,中 ,… ,qu 作为 一 组 基 , 用 来 表示 与 它 
同 维 数 的 向 量 w。 特 别 地 ,可 将 任意 向 量 w 表示 为 如 下 特征 向 量 Qh... aw 的 线性 组 合 为 
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w= È va (E.10) 
其 中 nsn... ty 是 常数 。 现 在 假设 对 向 量 w ARES RARE UWA 
M 
Rw = y Rd (E.11) 


根据 定义 , Rg, = 4.9:。 因 此 ,这 个 线性 变 找 的 结果 还 可 写 为 
M 
Rw = UA, (E.12) 


Ae, Ay LPB BPR CE. ORHAN w 进行 线性 变换 ,特征 向 量 仍然 为 线性 无 关 , 变 
换 的 结果 只 是 在 每 个 特征 向 其 前 面 乘 以 各 自 的 特征 值 。 
性 质 3 iA.. hr 是 虹 x 遇 相关 天 阵 及 的 特征 值 , 则 所 有 这 些 特征 值 是 实数 且 非 负 。 
为 了 诈 明 这 个 性 质 , 普 先 用 式 ( 下 .1) 将 第 诗 个 特征 值 1, 的 条 件 表 示 为 
Rq, = Aq: i=1,2,...,M (E.13) 
在 上 式 的 两 边 左 乘 以 qt (gq, 的 埃 尔 米 特 转 置 ) ,可 得 


E = Ai eae 
g; Rq; = Aq; q; i= 1,2,..., M (E.14) 


AR gia 是 正 标量 ,表示 疝 量 qi 欧 氏 长 度 的 平方 , 即 qrq > 0。 因 此 可 在 式 (E.14) 的 两 边 同 
RELL gi qi ,可 将 第 i PRE aH 
y = S Ra. i=1,2,...,M (E.15) 
F 4; 

因为 相关 矩阵 R 总 是 非 负 的 ,上 式 分 子 中 的 qf Rg, EKA HIEM, E qi Rq 20. RH 
式 (E.15) 可 知 , 对 所 有 iA 之 0; 即 相关 矩阵 RR 的 特征 值 总 是 实数 ,而且 是 非 负 的 。 

除了 罕见 的 无 噪声 正 芝 或 无 噪声 阵列 信号 处 理 问题 外 ,相关 矩阵 R 是 正定 的 ;因此 通常 
有 里 Rg; > 0, 故 对 所 有 iA: >0。 也 就 是 说 ,相关 和 矩阵 的 所 有 特征 值 总 为 正 实数 。 

式 (E,15) 右 边 的 埃 尔 米 特 形式 qf Rg 与 内 积 gq; 之 比 称 为 瑞 利 商 (Rayleigh quotient). 
因此 可 以 说 ,相关 和 矩阵 尽 的 特征 值 与 其 相应 特征 向 量 的 瑞 利 商 相 等 。 


ERA A adh. dy SHR TM x 村 相关 瞪 阵 下 的 不 同 特 征 值 MA .Au 所 对 
应 的 特征 向 重 , 则 特征 向 重 a... dy 相互 正 交 。 
Sq 和 gq; 表示 相关 矩阵 的 两 个 任意 特征 向 量 。 如 果 满 足下 式 条 件 


g4 =0 iz¥j (E.16) 
则 说 这 两 个 向 量 相互 正 交 。 利 用 式 (E.1) TSE q Ag, 的 条 件 分 别 为 
Rq; = Aq; (E.17) 
和 
Rq; = A (E.18) 


FER (E.17) AER ROK AS EE q, ig 
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q; Rq, = àg q (E.19) 
因为 相关 矩阵 R BROOK REE R= RR. Eh, BHR 3 TATA j, TEA A, 都 是 实 
Be, FAG AeA CE. IDRA TR OR RAS a,n 





qf R = Aq? (E.20) 
式 (E.20) 的 两 边 右 乘 以 问 量 qg, 可 得 
4 Rq; = 4,47", (.21) 
Hee CE. 19) {CAR (E.21) ,得 到 
(A; — Ag gi = 0 (E22) 
因为 假设 矩阵 R 的 特征 值 不 同 , 有 ,对 4A。 因此 , 式 ({E.2) 上 成 立 , 当 且 仅 当 
qq=0 ij (E,23) 


这 是 人 们 期 望 的 结果 。 即 当 ijt, R gq, lq, 相互 正 交 。 
ERS 本 相似 变换 $t... qy PMR M x MAKE RK LAGE A, 
2 Ay 所 对 应 的 特征 向 量 , 并 定义 M x M ADK EH 
Q = Lai. G2. --- + dae] 


AL MAMAA 
A = diag(A;, Ag, --.. Àm) 
Ww) FASE 及 可 实现 对 角 化 如 下 
QRQ=A 
条 件 ga =1{i =1,2,... 导 ) 要 求 每 个 特征 向 量 归 一 化 为 具有 单位 长 度 。 向 量 q 的 平方 
长 度 或 平方 范 数 ,定义 为 肉 积 qq。 当 i 子 j 时 ,由 性 质 4 有 ,qiq; =0。 当 这 两 个 条 件 同 时 满 
足 , 即 当 


qf q; = t ie; (E.24) 
就 说 特征 向 量 g ,中 ,.…，,qw 组 成 正 交 集 。 根 据 定义 ,特征 向 量 qi ,中 ,………:gw 满足 方程 
Rq=Ag i=1,2,..,M (E.25) 
M x 及 矩阵 QQ 将 特征 向 量 gq ,中 da 的 正 交 集 作为 它 的 天 , 即 
Q = [qq qa] (E.26) 


M x 可 对 和 阵 态 的 主 对 角 线 元 素 就 是 特征 值 4 ,42，. ++ Ay 
A = diag(Ay, Àz, -s Am) (E.27) 
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因此 ,可 将 式 { 下 .25) 中 的 用 个 方 穆 重 写 为 矩阵 形式 


RQ = QA (E.28) 
HY PERCE. 24) FR E SC RTE a EAT OPE, AT 

oQ =1 
可 等 价 写 为 

Q~ =Q” (E.29) 


即 矩阵 Q 非 奇异 ,其 道 阵 Q-! 等 于 Q RIKERE. ARAPE REPERA TPE. 
内 此 ,在 式 (E.28) 的 两 边 左 乘 以 埃 尔 米 特 转 团 矩阵 QQ” ,并 利用 式 (E.29) 的 性 质 , 可 得 
Q"RQ =A (5.30) 
这 个 变换 称 为 酉 相似 变换 。 

于 是 ,我 们 可 证 明 一 个 重要 结果 ;相关 第 阵 了 R 可 通过 西 相 似 变 挽 实现 对 骨 化 。 守 进一步 ， 
FUE RAEI ON SERE R 有 关 的 特征 向 量 的 正 交集 县 作为 它 的 列 。 结 果 对 角 阵 
态 用 BR 的 特征 秆 作为 其 对 角 线 元 素 。 

对 式 (F.28) 的 两 边 右 飞 以 道 隆昌 ,然后 利用 式 (E.29) 的 性 质 , 可 得 

R = QAQ”! 


= $ raaf 

其 中 M EERE R 的 维 数 。 令 投影 p; 表示 外 积 凤 和。 则 可 直接 得 出 
P, = P? = PË 

实际 上 这 意味 着 p =q.” 是 单 秩 投影 。 因 此 , 式 (E.31) 表 明 广 义 平稳 随机 过 程 的 相关 矩阵 等 


于 所 有 这 样 的 单 秩 投影 的 线性 组 合 , 每 一 项 都 被 各 自 的 特征 值 加 权 。 这 就 是 Mercer 定理 ,也 
称 做 谱 证 理 。 


性 质 6 $A A. An ROEM x MAKE REA, UR FT 


(E.31) 


R HÈ. 
方 阵 的 迹 定 义 为 该 矩阵 对 角 线 元 素 之 和 。 对 式 ( 上 .30) 的 两 边 求 迹 , 可 写 出 
tr[Q"RQ] = trfA] (E.32) 
其 中 tr 表示 求 迹 算 子 。 对 角 阵 A 以 R 的 特征 值 作为 其 对 角 线 元 素 , 故 有 
[A] = Sa (E.33) 


用 和 矩阵 代数 定律 2, 可 以 写 出 
tr[Q”RQ] = tr[RQQ”] 
而 OQ” 等 于 单位 阵 L 因此 有 
tr[Q2RO] = tr{R) 





© EMR eC ARUP AB Mx NBN x MIER. MIRRE AB 与 矩阵 BA 的 迹 相 等 。 
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因此 ,可 将 式 (E.32) 重 写 为 
M 
tr{R] = SA, (E.34) 
i=] 


由 此 可 以 证 明 , 相 关 年 阵 RAA ET RAREZA., PEE RR, FRAT 
利用 了 一 个 性 质 , 即 要 求 及 是 具有 不 同 特征 值 的 埃 尔 米 特 矩阵 ,但 这 个 结论 适用 于 任 一 方 阵 。 

性 质 7 to RA ASE RR 的 最 大 特征 值 和 最 小 特征 值 之 比 很 大 , 则 民 是 病态 的 。 

为 了 理解 性 质 7 的 影响 ,认识 用 来 有 效 求 解 信 号 处 理 问 题 算法 的 稚 导 过 程 并 理解 与 之 相关 
的 摄 动 理 论 {perturbation theory) EREE H (Van Loan,1989)。 我 们 可 以 通过 讨论 线性 系统 方程 

Aw =d 

来 说 明 这 两 个 领域 之 间 的 联系 。 式 由 ,矩阵 A& 和 向 量 d 是 与 数据 相关 的 景 ,w 是 表征 线性 FIR 
滤 恋 器 的 系数 向 量 。 摄 动 理论 基本 公式 告诉 我 们 ,如 采 扬 阵 和 和 向 量 下 分 别 被 很 小 的 量 3A 
Al sd fish, A | Sal / || All || edl i al 都 属于 某 种 s<<1l 的 数量 级 , 则 有 (Colub & Van 
Loan, 1996) 


Swi _ 
| x{A) 


其 中 ow OA 和 8d 引起 的 w ER, T y (AV A FRA. SATU 
称 为 条 件数 ,因为 它 从 数量 上 描述 了 矩阵 A 的 病态 或 坏 的 特性 。 特 别 地 , 它 被 定 闵 为 (Wilkin- 
son, 1963; Strang, 1980; Golub & Van Loan, 1996) 
x(A) = | 上 A (E.35) 
这 里 , 上 A 是 矩阵 A 的 范 数 , i A | EA A ! 的 相应 范 数 。 和 矩 阵 的 范 数 在 某 种 意义 上 是 
矩阵 量 值 的 一 种 度量 。 很 显然 ,矩阵 范 歼 满足 下 列 条 件 ， 
1) |All 20,24 A-0OHRSS, 
2) | cA = icl 下 上 ,其 中 c 是 实数 ,1c | 是 其 绝对 值 。 
3) || A+B|<|AIL + | Bll 
4) | ABI = J All {BI 
条 件 3 BoA RS, Rt REE, ALOT EE SOR | A || 使 得 它 满足 前 述 条 件 
(Ralston, 1965)。 然 而 ,对 于 目前 的 讨论 ,使 用 谱 范 数 将 更 如 方便 ,而 谱 范 数 定义 为 算 阵 乘积 
AMA 最 大 特征 值 的 平方 根 ,其 中 A" 是 矩阵 A 的 埃 尔 米 特 转 置 ; 即 
1A|。= (AFA 的 最 大 特征 值 }“ (E.36) 
因为 ,对 任 一 矩阵 A BL ATA BROOKE BE i, HETTIE AA 的 特征 值 也 都 是 
非 负 实数 ,正如 所 要 求 的。 此 外 ,从 式 (E.15) ,我 们 注意 到 AYA 的 特征 值 等 于 其 对 应 的 特征 向 





O ”矩阵 点 的 另 一 种 范 数 是 Frobenius 范 数 ,定义 为 (Stewart, 1973) 


lAle = 4 > Sy i 


1=] 了 


其 中 MW ALN SSE A MWER, a AE A A i 和 第 j 列 元 素 。 
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量 的 Rayleigh 系数 。 将 式 (E.36) 的 两 边 平 方 并 利用 此 性 质 ,可 以 写 出 
jalè = mar $ AA 
Axl? 
| [xi 
JPAM lx li? 是 向 量 x 的 欧 氏 范 数 平方 ,或 平方 长 度 , 分 子 | Ax 亦 然 。 于 是 ,可 用 等 效 
JE SMA A 的 谱 范 数 写 为 





= mmay 


Ax] 


fxi 





Al, = max (E.37) 





根据 这 个 关系 式 ,A RENAU ERRAK A, HE, EM E AN EE m E LE HR 
法 被 放大 。 而 且 被 放 天 最 大 的 问 景 就 是 A A 的 最 大 特征 值 所 对 应 的 特征 向 量 (Strang, 1980)。 

现 考虑 将 式 (E,36) 定 义 应 用 于 相关 矩阵 R.A R 是 埃 尔 米 特 矩阵 ,R = Rs THE 1 
A HEAL , 若 4 是 及 的 最 大 特征 昔 , 则 ROR 的 最 大 特征 值 等 于 kx。 因此 ,相关 矩阵 R 的 谱 范 
数 为 





Ril, = Amas (KE. 38) 


类 似 地 可 以 证 明 , 北 相关 矩阵 R-: 的 谱 范 数 为 
a. 
IR“, =5 (E.39) 


其 中 A, RADE. A SR PHC EAH BAAR, STEAK E 
E 其 的 条 件数 为 


Amax 
x(R) = 4 (E.40) 


这 个 比值 通常 称 为 相关 具 阵 的 特征 值 扩散 度 或 特征 值 比 ， EE., yy (Re) 总 是 成 立 的 。 
假设 相关 十 阵 RS RRA (OFT i, MRM ME R 的 条 件数 或 特 
AEH RETA, US 有 R-' 中 会 包含 很 大 的 元 素 。 这 个 特性 会 在 求解 含有 R ”的 方程 组 时 
引起 麻烦 。 在 这 种 情况 下 ,我 们 说 相关 十 阵 及 是 病态 的 .从 而 证 明了 性 质 7。 
性 质 8 离散 随机 过程 相关 媳 阵 的 特征 值 以 过 程 的 功率 谱 密 度 的 最 大 值 和 量 小 值 为 蹇 。 
令 1 和 gfi=12,..., 对 ) 分 别 表 示 离 散 随 机 过 程 a(n) 的 相关 矩阵 R 的 特征 值 。 
为 了 表达 方便 , 重 写 式 (FE.15), 有 





H 
je ee (E.41) 
q: q. 
SR(E.41) TPR RERI LRTI A 
M M 
qPRqi = 之 Dagar — Kau (E.42) 
k=1 1=1 


O Max 是 矩阵 ASA 的 一 个 特征 向 量 。 因 此 目前 只 能 说 上 ANI SPECI ASX Rayleigh Wo RN RAKES 
被 证 明之 后 ,性 质 ? 可 适用 于 任何 向 量 ( 和 参见 性 质 9)。 
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这 里 qi EAH gd 的 第 个 元 素 ,r(1 — 站 是 矩阵 RAYS be TPL 列 元 素 , gy BILE q, 的 
第 【个 元 素 。 利 用 式 (1.16) 的 Kinstein-Wiener-Khintchine 关系 ,可 以 写 出 


rff 一 天) 一 = — f Staje do (E43) 
其 中 SCw ) FECT (a) DAE mee 因此 ,可 章 写 式 (E.42) 为 
M a 
qi Rq; = + 2 Saraf Sfat H dw 
i (E.44) 
“on f. “dws (w ) Sate r S qe” 
令 序 列 gigas -odu Se EH ER A 
Qile") - Sak eek (E.45) 
将 式 { 王 .45) 代 人 式 (下 .44) ,可 得 
1 rr 
qrRg = 2 | JOTS) do (E.46) 
类 似 地 ,可 以 证 明 
1 f, 
da = zy f O do (E.47) 
因此 ,根据 有 关 的 功率 谱 密度 ,可 利用 式 (E.41) 重 新 定义 相关 和 矩阵 R 的 特征 值 4, 为 
/a |Qie®)| ev) Sw) de 
A; = (E.48) 
foe oo Ole do 
A> Sn i S 分别 表示 功率 谱 密度 S(o) 的 绝对 最 小 值 和 最 大 值 。 则 
| "QES w) dw > Su | exemjPda (E49) 
和 
| "Qi(e)8(w) do < Sia | R) de (E.50) 
因此 ,利用 式 (E.48), 可 以 推出 特征 值 A 以 有 关 功 率 谱 密 度 的 最 大 值 和 最 小 值 为 界 , 即 
Smin = A, © Smax i=12,...,M (E.51) 
相应 地 ,特征 值 扩展 y(R} 被 限制 为 
x(R) = Amar Sax (E.52) 


Amin Simin 
令 人 感 兴趣 地 注意 到 , 当 相 关上 矩阵 维 数 M 趋 于 无 穷 时 ,最 大 特征 值 1o 趋 于 So ,最 小 特征 什 
Aat F Seino FAL, MOSCA: 及 的 维 数 M 趋 于 无 穷 时 ,其 特征 值 扩散 度 y (RF Sum! Saino 
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性 质 9 极 小 - 极 大 定理 RAK SEM RAAT EA AL. AD... hv, 它们 按 递减 顺序 排 
列 如 下 


最 小 -最 大 定理 指出 





ÀA 二 nn, e k=1,2,..M (E.53) 
BPYARAMxIRGESRA HTS, dimn ARAFA BR AAE x( 假 设 
EENM SES m RAE, 

令 C# 表示 时 维 复 向 量 空间 。 为 了 方便 日 前 的 讨论 eee AE eC’ 是 所 有 复 
向 量 的 集合 ,这些 复 向 量 可 表示 为 M 个 基 疝 量 的 线性 组 人 台 。 特 别 地 ,可 以 写 出 
CY = {y} (E.54) 





其 中 
M 
y= Daqi (E.55) 


EAE 一 复 向 量 „Q; 是 基 疝 量 ， a; REAM, HTE :1 可 使 用 问 量 的 任 一 正 变 
集 , 它 满足 如 下 条 件 

qf qj = ~ (FE.56) 
换 句 话说 ,每 个 基 向 量 者 进行 了 归 一 化 ,使 得 欧 氏 长 度 或 范 数 为 1 且 正 交 于 该 集合 中 其 他 基 癌 
量 。 复 向 量 空间 Cu KERM 是 张 成 整个 空间 所 需要 的 基 疝 量 的 最 少数 。 

基 函 教 定义 了 复 向 量 空间 的 坐标 。 任 意 维 数 可 相 容 的 复 向 量 都 可 简单 地 表示 为 该 空间 的 
-- 点 。 实 际 上 , 复 向 量 空间 的 思想 是 欧 氏 几何 的 自然 推广 。 这 个 思想 的 核心 是 子 空间 的 福 念 。 
MRS IST ELC 的 时 个 基 疝 量 的 子 集 , 财 说 了 是 复 向 量 空 间 Cx 的 子 空间 。 换 旬 话 说, 
维 子 空 间 定 义 为 复 向 量 的 集合 , 它 可 写 为 基 向 量 由 , 生 ,…… ,qx 的 线性 组 合 , 即 


È 
x= aq, (E.57) 
i=l 


BR ko M, HEH BME x HERE Mo 

这 些 思想 用 图 下 .1 所 示 的 三 维 向 量 空 间 来 说 明 。dq , qr 平面 表示 两 维 子 空 间 9。 向 量 》 
和 向 量 x 的 表示 ( 即 子 空 间 #8 内 的 部分) 也 见 该 图 。 

回 到 目前 的 问题 , 即 式 (E.53) 极 小 - 极 大 定理 的 证 明 。 这 项 工作 进行 她 下 :首先 利用 式 
(ESD ER M x 村 相关 矩阵 让 分 解 为 


M 
R= 2 AGG” 


Hb a, 是 及 的 特征 值 ,q; 是 对 应 的 特征 向 量 。 考 虑 到 特征 向 量 qh... Au HACE. 24) 
的 正 交 条 件 , 故 可 用 它 作 为 复 向 量 空间 C* MAER, Mx 1 向量 x 被 限制 在 & 维 子 空间 
9 内 ,如 式 (E.57) 所 定义 。 然 后 ,利用 式 (上 .31) ,可 将 向 量 x 的 瑞 利 商 写 为 
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= 二 (E.58) 


位 于 子 空间 [q,,q,] 
内 向 量 了 的 部 分 





q; 


%3 
图 E.1 三 维 ( 实 ) 向 量 空间 中 一 向 量 投影 到 子 空间 上 


或 (EE.58) 表 明 k 维 子 空间 9{ 即 特征 向 量 g , 生 ,.……… ,qu 张 成 的 子 空间 ) 内 向 量 x 的 瑞 利 商 是 特 
征 值 A, ,4,,...,4; 的 加 权 平均 。 因 为 假设 2,>2, 宇 .之 和 ,i 故 对 任 一 上 维 子 空间 98, 有 


ap | 
es xx k 
x 





这 个 结果 意味 着 


H 


min max 5 Ex =A 
dim(S)=k xe xix k (E.59) 
x 


下 面 来 证 明 , 对 于 任 一 由 特征 向 量 q; qi, pene Gi, 张 成 的 k 维 子 空间 9 ,其 中 | by , iz Jrg i } 


是 11,2,... ,了 | 的 子 集 , 至 少 存 在 一 非 零 向 量 x 为 9 和 特征 向 量 qi ,gtygx KRM S 
所 共有 。 为 此 ,考虑 由 M 个 齐 次 方程 组 
k M 
六 = > ba (E.60) 
其 中 CM +1) 个 未 知 数 构成 如 下 : 
1) k 个 标量 , 即 UTEE SERRER) a, 在 左边 。 
2) -1+ 天 个 标量 , 即 bis bisio bw 在 右边 。 
因此 , 式 (E.60) 的 方程 组 总 有 非 平凡 解 。 此 外 ,由 性 质 2 知道 ,特征 向 量 q ,9 044, Bla, 
gu， 特征 向 量 是 线性 无 关 的 。 因此 ,至 少 有 一 非 零 向 量 x= Dri Gq; 为 qi, q; s.s’ 


q, 空间 和 A ee PS 于 是 ,利用 式 (E.60)\ 式 (E.57) 和 式 (E.41), 也 可 将 向 
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E 的 瑞 利 商 写 为 特征 值 4 ,4,01,,.. Ay 的 加 权 半 均 , 即 
x Rx _ DPA 


xix o M 
假设 Aq Ags Be = Ay. th x HES SAIS Ae Be 2 





(E.61) 





nog i 
x0 
因此 
min m yu Re A 
dim(?)=k ned xy Œ (E.62) 
因为 9 是 天 维 的 任意 子 空 间 。 


下 面 剩 下 要 做 的 事情 是 组 合式 (EE.59) 和 和 式 (E. 多 ) 的 结果 ,从 而 立即 得 出 性 质 9 所 述 式 
(下 .53) 的 极 小 - 极 大 定理 。 

由 性 质 9, 有 以 下 两 个 重要 的 观察 结果 : 

1) 式 (E.53) 所 表述 的 极 小 -要 大 定理 ,对 相关 和 抢 阵 R 的 特征 结构 ( 即 特征 值 和 特征 向 量 )》 
没有 任何 特殊 要 求 。 实 际 上 ,这 个 定理 可 作为 定义 特征 值 4 ,k=1,2,..., 计 的 基础 。 

2) 极 小 - 极 大 定理 指出 了 相关 短 阵 特 征 结构 独特 的 两 个 特性 : (a) 特 征 向 量 给 出 了 NH 维 
空间 的 特殊 基 , 从 能 量 意 义 上 , 它 是 最 有 效 的 ; (b) REEE Mx 1 输入‘ 观测) 向量 
utn) 的 革 些 能 量 。 这 个 问题 将 在 性 质 10 中 进一步 讨论 。 


还 有 一 点 值得 注意 的 是 . 式 { 了 .53) 亦 可 表示 为 如 下 等 价 形式 
x Rs 
ae dim(PJ= Mkt we? XA (E.63) 
xi 
式 (E.63) 称 为 极 太 - 极 小 定理 。 
由 式 (E.53) 和 式 (E.63), 可 容易 推导 出 下 面 两 种 特殊 情况 下 的 结果 ; 


D 4k= 衣 于, 子 空间 9 完全 占据 整个 向 量 空间 C*。 在 这 种 情况 下 , 式 {E.53) 变 为 
A, 二 i (E64) 
ee | 
Hp a 为 相关 矩阵 及 的 最 大 特征 值 。 
2) 当 上 =1 寺 , 子 空间 8’ 完全 占据 整个 向 量 空 间 C*。 在 这 种 情况 下 , 式 (E.63) 变 为 
_ x? Rx 
Au = DUN ay (E.65) 


XE KON 
其 中 a, 是 相关 和 矩阵 R 的 最 小 特征 值 。 


性 质 10 ”Karhunen-Loave 展开 Mx 向量 uln) 表 示 取 自 均 值 为 零 和 相关 矩阵 为 好 的 
广义 平稳 随机 过 程 的 数据 序列 。 旦 ,里 ,.… du 是 矩阵 R A) 相 个 特征 值 所 对 应 的 特征 向 量 。 
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则 向 量 u n) 可 表示 为 这 此 特征 向 芋 的 线性 组 合 ,好 


Af 


un) = 2604, (E.66) 
展 并 式 的 系数 是 均值 为 零 BAH 
cAn) 一 qufa) i= 1,2,...,M (E.67) 


Ze SLINSE AH RAL EE E. 

式 (E.66}) 和 式 (E.67) 中 所 描述 的 随机 向 量 uC) EAR EAE Karhunen-Lotve 展开 式 。 特 划 
地 , 式 (E.67) 是 展开 上 碟 的 “分 析 " 部 分 ,因为 它 依据 输入 同 基 oC EAT e(n) BOAR 
(下 .6 的) 是 展开 式 的 “综合 "部 分 ,因为 它 从 c,(n) 中 重建 了 输入 向 量 u(tn}。 给 定式 (E.66), 式 
(了 .67) 中 ca) 的 定 交 可 直接 得 出 , 共 根 据 中 特征 问 量 双 ,中 .…， dy 组 成 一 个 正 交 和 集 (假设 其 
均 妇 一 化 为 单位 长 度 }。 相 上 友 , 这 个 性 质 可 用 于 竺 出 式 (E.66) ,只 站 给 定式 (E.67)。 


Elcm|l=0 i=1,2...,M (E.68) 
和 
Elef{aje*(n)] = D | zi (E.69) 


式 (E.68) 表 明 , 所 有 展开 式 系数 的 均值 为 零 。 恨 据 式 (上 .67) 及 随机 向 量 Kn) EARB 
为 零 ,可 直接 得 出 这 一 结论 。 式 (E,69) 表 明 该 展开 式 的 系数 是 无 关 的 ,而 且 每 个 系数 的 均 方 值 
等 于 各 自 的 特征 值 。 通 过 利用 相关 逢 阵 耻 定义 中 式 (E.66) 展 开 式 作为 外 积 内 mn)a (n) big 
学 期 望 , 然 后 引用 酉 相似 变换 ( 即 性 质 5) ,很 容易 得 到 第 二 个 式 子 。 

为 了 对 Karhunen-Loeve 展开 式 做 出 物理 解释 ,可 将 特征 向 量 gq, ,里 ,……… ,qx A M 维 空 间 
的 坐标 ,从 而 用 它 在 这 些 轴 上 投影 cj(n) ,cyln),... ,cutn) 的 集合 来 表示 随机 向 量 afna)。 此 
外 ,由 式 人 了 上. 的 ) 可 以 看 出 


之 et = |atej (E.70) 


其 中 ufn) 是 n(n) 的 欧 氏 范 数 。 也 就 是 说 ,系数 (na) 上 共有 一 个 能 量 , 它 等 于 观测 向 量 
ul nS i 个 坐标 轴 测 得 的 能 量 。 显 然 ,这 个 能 景 是 随机 变量 ,其 均值 等 于 第 i 个 特征 值 , 即 
Elle{m)P] =A, i=1,2,....M (E.71) 


ii ESOT Mah (E.67) AIRE. 69) AR. 


E.3 低 秩 建 模 


统计 信和 号 处 理 的 一 个 关键 问题 是 特征 选择 (feature selection) , 意 指 数据 空间 变换 为 特征 空 
[il] (feature space) 的 过 程 。 从 理论 上 讲 ,特征 空间 与 原来 的 数据 空间 同 维 数 。 然 和 而 ,我 们 希望 以 
这 样 一 种 方式 来 设计 该 变换 ,使 得 能 用 较 少 的 有效" 特征 米 表示 数据 空间 ,有 保持 输 人 数据 国 
有 的 大 部 分 信息 内 容 。 换 言 之 ,数据 向 量 可 降 维 处 理 (reduetion in demensionality)。 
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具体 来 说 ,假设 有 一 个 好 维 数 据 向 量 wtn2, 它 表示 平稳 随机 过 程 的 一 种 特殊 实现 。 同 时 
假设 通过 一 噪声 信道 传输 该 向 量 ,传输 中 使 用 由 p 个 不 同 数组 成 的 一 个 新 集合 ,其 中 p < Ma 
本 质 上 ,这 是 一 个 特征 选择 问题 ,可 借助 Karhunen-Josve 展开 式 来 解决 这 个 问题 ,描述 如 下 ， 

根据 式 (E.56) ,数据 向 量 mt) 可 展开 为 其 相关 矩阵 RIET As Al... Ay 所 对 应 的 特 
征 向 量 gots.. odu 的 线性 组 侣 。 假 设 特 征 值 部 不 同日 按 递 减 顺 序 排列 如 下 

Ay Ap > h, Ay (E.72) 
使 用 和 矩阵 RTA EER ( E..66) eo A MB Rea 
BRA, Bil, MRRNIA BAI, MHARE. TDR M -p SEER). 那么， 
我 们 可 利用 这 个 先 验 知识 ,保留 矩阵 RA p 个 最 大 特征 值 ,而 在 =p ROME TRC E.66) BY Kar- 
hunen-Loave 展开 式 截断 。 因 此 ,可 将 数据 向 量 un UD 


p 
li(n) = 2 ng p<M (E.73) 


HEHEA p DP I tw AE MB ae MRA, (E73) eM eR 
称 为 低 秩 模型 (low-rank modelj。 这 里 要 注意 的 重要 一 点 是 ,我们 可 通过 p TH 6, (n)si = 1,2, 
…:p| 来 重建 近似 的 和 ma)。 根 据 式 (E.67),e(a) 自 身 由 um(a) 定 义 。 换 言 之 ,以 etn)， 
cln). efa) 为 元 素 的 新 向 量 c( za) ,可 看 做 诛 数 据 向 量 u(n) 的 降 秩 表 示 。 

图 卫 .2 描述 了 特征 选择 过 程 的 本 质 。 我 们 从 在 维 数据 空间 [其 中 基 一 特殊 点 确定 了 数 
EDA ul az) 的 位 置 ] 出 发 。 通 过 式 ( 下 .67) ,将 该 特殊 点 变换 为 p(p < 肛 ) 维 特征 空间 的 一 个 新 
的 点 。 图 中 所 示 的 变换 有 时 也 称 为 子 空间 分 解 或 降 秩 (reduced-rank) 分 解 。 

显然 ,在 运用 式 { 卫 .73) 重 建 数据 向 量 a(n) 时 ,由 于 站 (n) 的 秩 低 于 utn) 的 秩 , 故 会 引 人 谋 
差 。 重 建 误差 向 量 定义 六 





e(m) = u(n) ~ a(n) (E.74) 
将 式 (E.66) 和 式 (E.73) 代 人 式 (E.74) ,得 到 
M 
e(n) = È alaja (E.75) 
因此 , 均 方 误差 为 
e = Ellle(x)||7] 
= Efe#(n)e(x)| 
M M 
=E © D chen)", 
TaN (E.76) 
M M 
=> D Flinga) lala, 
dept) j=ptl 
M 
= > À; 
i=p+1 





该 式 证 明 : 式 (E.73) 定 义 了 一 个 良好 的 重建 ,只 要 特征 问 量 4,,,,.…， Ay WED Fag... Apo 
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图 E.2 含有 子 空间 分 解 的 变换 


E3.1 低 秩 建 模 的 应 用 
为 了 体现 基于 式 (E.73) 的 低 秩 模型 的 实用 价值 ,考虑 沿 含有 噪声 的 通信 信道 传输 数据 向 
量 u(n) 的 问题 。 假 设 接 收 信号 受到 信道 噪声 向 量 "(n) 的 干扰 ,噪声 建 模 为 零 均 值 的 加 性 高 
aes, Wy 
E{u(n)v"(n)] = O (E.77) 
和 
E|v(n)w4(n)] = o'I (E.78) 
式 中 I 表示 单位 阵 , o? 为 噪声 向 量 元 素 的 方差 。 式 {E.77) 说 明 噪声 向 量 y(n) 和 数据 向 量 
atn) 不 相关 ;而 式 (了 .78) 说 明了 噪声 向 量 的 元 素 互 不 相关 。 
在 图 E.3 中 ,给 出 了 沿 信 道 完成 数据 传输 的 两 种 方法 。 一 种 是 直接 方法 , 另 一 种 是 间接 方 
法 。 在 图 E.3(a) 所 示 的 直接 方法 中 ,接收 信号 向 量 为 
Yirea( 1) = u(n) + p(n) (E.79) 
因此 ,传输 误差 的 均 方 值 为 
Baret = El llYdirea() — a(n)|?] 
= E[||»(n)|?] 
= E[v*(n)v(n) | 
由 式 (E.78) 可 以 看 出 ,噪声 向 量 v{n) 的 每 个 元 素 v,(n) 的 方差 为 oo。 因此 ,可 简单 地 将 eww 
表示 为 
M 
Ediren = > Elja] 
= Mø 


(E.80) 
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其 中 M ft y(n) AER. 
Fl. SRE 6.30) Brae E, ABA E u(r) 首先 被 加 到 发 送 滤 波 避 组 ,其 
各 抽 头 权 向 量 等 于 on HAKER R 的 p 个 最 大 特征 值 4 Al... 所 对 诺 的 特征 向 量 q, 














i i ag, 的 埃 尔 米 特 转 置 。 结 果 产 牛 的 p x | lhl E eln) | Hoc hata) q.g.....g, BY 
内 积 组 成 ] 根 据 式 {E.67) 构 成 发 送信 导向 量 
e(a) = [qi qa, do] n(n) (E.81) 
相应 地 ,接收 信号 向 量 定义 为 
r(n} = e(a) + vn) (E.82) 
其 中 信道 噪声 向 量 v (nn) 的 维 数 现 为 p, 与 cn) 相 一 - 致 。 为 了 重建 原始 数据 信号 a(n) ,将 接收 
信号 向 量 r(n) 加 到 一 接收 滤波 器 组 ,其 各 抽 涉 权 疝 量 由 特征 向 量 yee. q EN HR 
生 的 接收 机 的 输出 向 量 为 
Yingirea (1) = CE qz: SETG qp e(r) 
(E.83) 
= lq. Qz; -…、 q, |e(n) E lq, k PEETER qnlv(n) 
ata} 
EE HERT? Ydirectt ft) 
Pin) 
(a) 直接 方法 
Yindirect(#) 
[q)+ gz... +p] cas 
a 
ib) 间接 方法 
图 EE.3 数据 传输 的 两 种 方法 
因此 ,计算 出 间接 法 所 有 重建 误差 的 均 方 值 ,可 得 
Bindrect 一 E||¥ogreeln) g u(n)|?] 
(E.84) 


M 
= DS A + pot 


f=pt+l 


式 (E.84) 的 第 一 项 是 数据 沿 信道 传送 之 前 由 数据 向 量 un) 低 秩 建 模 所 引起 的 。 第 二 项 是 由 
于 信道 噪声 的 影响 造成 的 。 
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比较 式 (E.84) 的 间接 法 与 式 (E.80) 的 直接 法 容易 看 出 ,采用 低 秩 建 模 其 有 一 个 明显 的 优 
点 ,只 区 满足 如 下 条 件 





By A, < (M — pj? (F.85) 


i=p+l 
这 是 一 个 令 人 感 兴 睫 的 结果 {Scharf & Tufts,1987)。 它 志明 , 当 数 据 向 量 un) ISG AER ROY 
末端 特征 值 ,1 ，,...， Aa 都 很 小 时 ,采用 近似 于 康 数据 向 量 uCn) 的 低 秩 传送 [如 图 .3(b] 所 
未 j 所 产生 的 均 方 误差 小 于 不 加 任何 近似 地 直接 传送 原 数据 向 量 [ 如 图 了 上.3(a) 所 示 ] 所 产生 的 
均 方 误差 。 
式 (E. 叶 ) 所 述 的 结果 特别 重要 ,因为 它 指 明了 通常 所 说 的 "但 差 -方差 折 中 ”的 本 质 。 特 别 
地 ,用 低 秩 模型 来 表示 数据 向 量 aa) ,会 由 此 产生 偏差 。 但 有 趣 的 是 ,这 样 做 反而 降低 了 方差 
i 由 由 加 性 曲 声 向 量 v(n) 引 起 的 均 方 误差 ]。 实 际 上 ,这 里 给 出 的 例子 清楚 地 说 明了 采用 比较 
简单 模型 的 动因 ,这 种 模型 不 可 能 精确 频 配 那些 用 来 产生 数据 辐 量 un 的 基础 物理 过 程 ,内 
此 产生 帆 差 ;但 该 模型 不 易 爱 噪声 影响 , 放 方 差 减 小 . 


E.4 特征 滤波 器 


通信 理论 中 的 一 个 基本 问题 就 是 确定 最 优 有 限 长 脉冲 响应 (FIR) 滤 波 吕 ,其 最 优 准则 是 使 
输出 信 噪 比 最 大 。 在 本 节 中 ,我 们 将 看 到 这 个 滤波 器 优化 问题 与 特征 值 问 题 有 关 。 
考虑 其 脉冲 响应 用 序列 w, 表示 的 线性 FIR 滤波 器 。 加 到 滤波 器 输 人 端的 序列 x(n) AA 
用 信号 分 量 xf ma) 加 上 一 个 如 性 噪声 分 量 y(n) 组 成 。 信 号 u(rn) 取 自 零 均值 .相关 害 阵 为 R 
的 广义 平稳 随机 过 程 。 零 均值 噪声 v(n) 是 具有 常数 功率 谱 密度 (由 方差 o 确定 ) 的 白 噪声 。 
假设 信号 (n) MEE v(n) 是 不 相关 的 ,好 
Elulnjyt(m)] = 0 ”对 所 有 (n,m) 


滤波 器 输出 由 y(n) 表 示 。 这 种 情况 如 图 下 .4 所 示 。 







FRERE 
{wy} 


Ta 
rin) 


图 E.4 线性 滤波 


由 于 滤波 器 是 线性 的 , 故 可 运用 释 加 原理 。 因 此 我 们 分 别 考虑 信号 和 噪声 的 影响 。 设 P, 
表示 滤波 器 输出 y(n) 的 信号 分 量 的 平均 功率 。 则 可 号 出 
P, = w Rw (E.86) 
Epai w 的 元 素 为 滤波 器 系数 ,R EE SE A A Sa un OR, 
其 次 ,单独 考虑 噪声 影响 。 设 N, 表示 滤波 器 输出 y(n) 的 噪声 分 量 的 平均 功率 。 这 是 式 
(了 .86) 的 特例 ,可 表示 为 
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N= gwiw {E.87) 


其 中 oi 为 滤波 器 输入 白 品 点 的 方差 。 
设 (SNR), 表示 输出 信 喉 比 。 式 (下 ,86) 除 以 式 {E.87) ,可 以 写 出 


(E.88) 


则 这 个 最 优化 问题 更 可 表述 如 下 : 
确定 FIR RRS ARE w, AUE wl mw=j 约束 条 件 下 ,使 输出 信 嗓 比 (SNR), RK. 


式 (E.88) 表 明 ,除了 比例 因子 Vo 外 ,给 出 信 哄 比 等 于 FIR 滤波 髓 系数 向 量 w 的 瑞 利 商 。 
于 是 ,我 们 看 到 ,这 里 所 述 的 最 优 滤波 问题 可 看 做 特征 值 问题 。 事 实 上 ,这 个 问题 的 解 可 直接 
有 共 极 小 - 极 大 定理 得 出 。 有 具体 地 ,利用 式 (E.64) 给 出 的 极 小 - 极 大 定理 的 特 珠 形 式 , 我 们 可 表述 
WTF: 


o 输出 售 品 比 的 最 大 值 为 


Amax 


(SNR). max = z (E.89) 


HP A ASE RAE ES A, Ao” OA A (RE ABD) 
@ ZR (E. RAA CH LAOS, FIR BB AY Rl BE SC 
Wo = dmax (E.90) 
其 中 g WHEE ROBART. HE RR 属 于 滤波 器 输入 中 
的 信号 分 量 u(n)。 
脉冲 响应 系数 等 于 特征 向 有 量 元 来 的 FIR 滤波 器 称 为 特征 江 波 器 (Makhom, 1981)。 相 应 地 ， 
我 们 可 以 说 ,最 大 特征 滤波 器 ( 即 特征 滤波 器 与 滤波 器 输入 信号 分 量 的 相关 和 拍 阵 的 最 大 特征 值 
有 关 ) 就 是 最 优 滤 波 器 。 需 要 注意 的 基 , 以 这 种 方式 定义 的 最 优 滤 波 器 ,由 滤波 器 输入 信 Sat 
量 的 相关 矩阵 的 特征 分 解 惟一 表征 。 滤 波 器 输 和 人 端 白 噪声 的 功率 谱 只 不 过 影响 输出 信 吻 比 的 
最 大 值 。 特 别 地 ,为 了 计算 最 大 特征 滤波 器 ,我 们 采用 以 下 步骤 ， 


1) 对 相关 和 矩阵 及 进行 特征 分 解 。 
2) 只 保留 最 大 特征 值 4 及 其 相应 特征 向 量 Quo 
3) 特征 向 量 gw 定义 了 最 优 滤波 器 的 脉冲 响应 ,1.1o? 定义 了 输出 信 噪 比 的 最 大 值 。 


这 种 最 优 滤波 器 可 看 做 匹配 滤波 器 的 随机 复 本 。 上 述 最 优 滤波 器 使 得 其 性 噪声 中 随机 信 
号 ( 即 离散 广义 平稳 随机 过 程 的 样本 函数 ) 的 输出 信 咯 上 比 最 大 。 另 一 方面 ,匹配 滤波 器 使 加 性 
哄 声 中 已 知 信号 的 输出 和信 品 比 最 大 (North,1963; Haykin 2001}. 


E.5 特征 值 计 算 
一 般 来 说 , 方 阵 特征 值 的 计算 是 一 个 复杂 的 问题 。 在 1958 年 到 1970 年 之 间 ,由 一 个 专家 
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ARAT BS eR RAEADR TA T MATERE CE EF (Paen, 1985), 
Et. IRRE DA FRF: 
è MATLAR:— Ti TR 89 BH Oe Fe IT EE AE EA Se ihl Rid- 
dle, 1994) 
@ MATHEMATICA: -个 用 于 数值 计算 .符号 和 图 表 计 算 和 可 视 化 的 综合 数学 系统 {Riddle， 
1994) 
@ LINPACK ;标准 子 程序 包 , 用 于 线性 代数 计算 CDongarra et al. ,1979) , 它 没有 特征 值 子 程 
T ,但 包 插 奇异 值 分 解 了 程序 
LAPACK: 一 个 用 于 单 地 上 赴 空 向 机 线性 代数 库 , 是 EISPACK 的 继承 ,具有 特征 值 子 穆 序 
è ScaLAPACK ;一 个 多 地 址 室 间 机 的 线性 代数 库 (Demmel, 1994) 


这 些 程序 库 中 封装 的 所 有 特征 程序 , 均 已 进 和 7 过 很 好 的 证 其 和 测试。 

几乎 所 有 上 述 特 征程 序 的 来 源 都 可 以 刀 溯 到 Wilkinson 和 Reinsch(1971) 合 著 的 4 自动 化 计 
算 手 册 }》 第 二 卷 “ 线 性 代数 "。 这 个 参考 文献 是 特征 值 计算 的 “圣经 ”。 

这 些 程序 的 男 一 个 有 用 的 来 源 是 Press 等 (1988) 的 著作 《C 编程 语言 》 及 其 姐妹 篇 《FOR- 
TRAN 和 和 Pascal 语言 》。 其 中 ,用 ¢ Ga AVEO RTF RRB AEE SE, PRT , R A REEF 
HP Se FATA BR a OK PRE ,是 一 件 直截了当 的 事情 。 

WAT MPAA. A fem OM x M RRR OR PEE , SC BB AE BB A 


A= A, + JA; (下 .9 二 
相应 地 , 设 一 个 相关 的 性 xl 特征 向 量 q 可 写 为 
d= qr + ig; (E.92) 
于 是 , M x M 复 特征 值 问 题 
(A, + jAi(g + jq) = Ag + jq) (£.93) 


TRHY IM x2M 实 特征 值 问 题 
A, Ai; dr | _ q; 
P aia = H (E 

其 中 特征 值 4 为 实数 。 埃 尔 米 特性 质 

Av =A 
aie AT = A AL AT = -A,。 相 应 地 , 式 (E.94) 中 的 2 x 2M RR LARA, ATH, 
ER EASE Ae 

ee 

q; 


也 是 特征 向 量 。 这 意味 着 , 如果 A, ay... ay AM xM ROKR A 的 特征 值 , 则 式 
(E94) EK) 2M x 2M 对 称 矩阵 的 特征 值 为 1, ,ai Aa Ags An Ay 于 是 ,我 们 可 观察 到 如 下 
两 点 ， 


1) 式 (E.94) 中 矩阵 的 每 个 特征 值 都 重复 两 次 ; 
2) 相关 的 特征 向 量 成 对 组 成 ,每 个 形式 如 gd + ja, Aja, + jd) ,区别 仅 在 于 旋转 了 90°, 
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因此 ,为 了 借助 实 值 特 入 程序 来 解决 式 (E. 明 ) 的 M x 并 复 特 入 值 问题 ,我 们 从 与 式 (F.%4) 
的 24 x 2 时 增 广 实 特 征 什 问题 有 关 的 每 对 特征 值 中 选择 一 个 特征 值 和 一 -个 特征 向 量 。 


E5.1 和 矩阵 特征 值 计算 的 策略 


在 后 面 的 实际 疝 题 中 ,所 有 现代 特征 程序 中 有 两 种 不 问 的 策略 :对 囊 化 和 三 角形 化 。 由 于 
不 是 所 有 和 矩阵 都 可 以 通过 -- 系 列 西 相似 变换 进行 对 前 化 ,因此 对 甫 化 策略 只 能 用 于 埃 尔 米 特 
和 矩阵 ,如 相关 逢 阵 ， 另 一 个 方面 ,三 角 丧 化 策略 是 一 般 的 ,因为 它 可 用 于 任何 方 阵 。 下 面 描述 
这 两 种 策略 。 

对 角 化 ”这 个 策略 的 思想 是 ,通过 重复 使 用 由 相似 灾 寞 ,使 埃 尔 米 特 和 矩阵 A 逐步 接近 对 
角形 式 , 鲍 如 








A > Q/AQ, 
> 7 Q7A0,0, (E.95) 
> OF 0707 AQ Q-Q: 
等 等 。 这 个 西 相似 变换 序列 在 理论 上 是 无 限 长 的 。 但 在 实际 中 , 当 接近 对 角 矩 阵 时 即 可 停止。 
这 样 得 到 的 对 角 和 矩阵 的 元 素 定 义 了 原来 埃 尔 米 特 矩 阵 A 的 特征 值 。 相 关 的 特征 问 量 是 变换 
序列 所 累积 的 列 向 量 , 即 





Q = 0,0,9; ... (E£.96) 
实现 式 (E.9%) 的 对 角 化 策略 的 -- 种 方法 是 使 用 Givens 旋转 。 这 个 方法 在 附录 下 中 讨论 。 

三 角形 化 ”第 二 种 策略 的 思想 是 ,通过 一 系列 西 相似 安 措 ,将 埃 尔 米 特 和 矩阵 和 A TAZA 
形式 。 产 生 的 送 代 过 程 称 为 0L 算法 了。 假设 给 定 一 个 M x M 埃 尔 米 特 矩阵 A, ,其 中 下 标 n 
表示 过 代 过 程 中 的 一 个 具体 阶段 。 设 矩阵 A, 可 以 分 解 为 

A, = QL, (E,97) 
其 中 Q, HEE.L, APE APEC eT Ee ERER L, 的 元 素 均 为 0) EER 
过 程 的 第 n+ 1 步 ,我 们 用 已 知 矩 阵 Q AL, 来 计算 一 个 新 的 天 xx 型 息 阵 

Ans, = LQ, (E.98) 
注意 , 式 (E.98) 中 的 分 解 以 相反 于 式 (E.%) 中 的 顺序 写 出 。 因 为 Q, 2 TRE RA 
Q7' = QQ" ,以 致 于 可 将 式 {E.97) BEA 
_ (E.99) 
因此 ,将 式 (E.99) 代 入 式 (E.98) ,可 得 

Ani = OFA,Q, (E.100) 
h(E. 100) $388, n + 1 PREHEN ERE A, SOI n STIR ACHE A, 
因此 ,QL 算 法 由 一 系列 西 相似 转换 组 成 ,可 总 结 为 


中 ”QL 算法 使 用 -个 下 三 角 和 矩阵 ,一 个 称 为 QR 算法 的 算法 使 用 上 三 角 持 阵 。 不 要 将 OR RES 0R TRB, CE 
附录 下 中 讨论 ,而 且 用 于 第 11 章 和 第 12 章 中 。 
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A, = Q,L, 
和 
Å n+ L,Q, 
其 中 n=0,1,2,...6 算法 被 初始 化 为 
A, = A 


其 中 A 为 给 定 的 M xM RPK, 
IF- AES A, FEDERE QL 算法 3 的 基础 ; 
PRE AAR BMH, SRR AE BOL SE A, HT EE, 
Re A REBUM DEIR HID EA OLR RBM MPSA EAR 


on 
为 了 实现 式 ( 工 .98) 的 分 解 ,可 以 使用 Givens eds (OLB ok F, E tHE 7 — Ae at FA 


分 解 的 计算 , 它 包 括 特征 分 解 作为 一 种 特例 )。 





四 “这 个 定理 的 证 明 参 见 Stoer 和 Bulirsch(1980), QL 算法 的 改进 版 本 见 Stewart( 1973). Golub 和 Van Loan(1996)。 


附录 旋转 和 映射 


在 第 8 章 , 我 们 强调 了 奇异 值 分解 4SVD,singular-value decomposition) 作 为 求解 线性 最 小 二 
莱 问 题 工 具 的 重要 性 。 在 这 篇 附录 中 ,我 们 讨论 一 个 实际 的 问题 , 邑 如 何 计 算 一 个 数据 算 阵 的 
SYD。 由 于 数值 稳定 性 作为 主要 设计 目标 ,因此 这 里 推荐 的 计算 SVD 的 方法 直接 考虑 数据 矩 
阵 。 就 此 ,我 们 给 出 计算 SVD 的 两 种 不 同 算法 。 

QR 算法 ”通过 一 系列 平面 映射 ( 称 为 Householder 变换 ) 来 实现 。 

© 循环 Jacobi 算法 ”使 用 一 系列 2x2 平面 旋转 ( 称 为 Jacobi 旋转 和 Givens 旋转 ) 来 实现 。 
循环 Jacobi 算法 和 QR 算法 都 是 数据 自 适 应 或 而 向 块 处 理 的 。 尽 管 方 法 不 同 ,但 日 标 相同 : 

eo 一 步 一 步 地 进行 数据 矩阵 的 对 角 化 ,直到 满足 给 定 的 数值 精度 可 求 。 

值得 注意 的 是 ,平面 旋转 和 映射 应 用 广泛 ,特别 是 在 平方 根 卡 尔 曼 滤 波 器 和 有 关 线 性 月 适 
应 滤波 器 设计 中 起 着 关键 作用 。 因 此 本 书 的 一 些 章节 参考 了 这 里 介绍 的 某 些 基 本 概念 。 然 
而 ,这 篇 附录 主要 关注 SVD 计算 (应 用 旋转 和 映射 ) 的 数值 稳定 算法 。 本 附录 首先 考虑 平面 放 
转 ,而 后 探讨 平面 映射 。 


F.1 平面 旋转 


循环 Jacobi 算法 的 一 个 基本 代数 工具 是 2x2 正 交 非 对 称 矩 阵 


@ = p | (F.1) 
—s C 





其 中 余弦 旋转 参数 
c = cosé (F.2) 
ALE SE ESR 
s = sing (F.3) 
都 是 实 参 数 ,而 且 该 矩阵 受 如 下 三 角 函 数 关 系 约束 
e+ =l (F.4) 


[在 SVD 术语 (和 对 其 特征 分 析 ) 中 ,* 正 交 和 矩阵 "用 于 实数 据 范围 , 而“ 丁 矩阵 "用 于 复数 据 范 
围 。] 我 们 把 变换 @ 看 做 某 一 平面 旋转 ,因为 2x | 数据 向 量 乘 以 @ 相 当 于 该 向 量 的 平面 旋转 。 
这 个 特性 成 立 与 否 取决 于 该 向 量 被 @ 左 乘 还 是 右 乘 。 
将 式 (F.1) 的 变换 称 为 Jacobi 旋转 是 为 了 纪念 Jaeobi(1846) , 它 提 出 将 对 称 和 矩阵 变 为 对 角 
形式 的 一 种 方法 。 式 (F.1) 称 为 Civens 施 转 ,本 书 中 采用 后 一 种 术语 ,或 简称 “平面 旋转 ”。 
为 了 说 明 平面 旋转 的 特性 ,考虑 一 个 2x 1 向 量 的 情 次 
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向 量 a 左 乘 以 ©, 14 





x= Oa 
cos a, 
j E Wa 
E | ca; + say | 
—sa, + cd; 
由 旋转 参数 cfs 的 定义 容易 看 出 ,向 量 x 种 向 量 a 共有 相同 的 欧 氏 长 度 。 此 外 ,已 知 角 8 是 
正 值 ,因此 变换 @@ 是 将 向 量 a 按 顺 时 针 方 向 旋转 到 一 个 由 x 定义 的 新 位 置 ,如 图 F.1 所 示 。 注 


意 , 向 量 a 和 向 量 x 在 间 一 平 击 ,如 内 , 故 称 为 "平面 旋转 ”。 
第 个 坐标 


PEA 








第 ;个 坐标 








Fe) 实 2x1 向 量 的 平面 旋转 


F.2 双边 Jacobi 算法 


为 了 替 循环 Jacobi 算法 的 推导 铺 平 道路 ,考虑 如 下 实 矩 阵 的 简单 情 议 


a; 
A= ie | (F.5) 
Aki Ukk 


假设 A 是 非 对称 的 , 即 as as。 要 求 是 将 该 矩阵 对 角 化 。 我 们 利用 两 个 平面 旋转 @ 和 人 @ 
来 达到 这 个 目的 , 即 


& alle faa he a 4 
Sy Cy ai aad -s ad LO & (F.6) 
“o A 6 steep 
为 了 设计 式 (F.6) 所 示 的 两 个 平面 旋转 ,我 们 分 两 个 阶段 进行 :第 一 阶段 将 矩阵 A 变 为 对 称 
阵 , 这 一 阶段 称 为 “对 称 化 ”; 第 二 阶段 将 前 一 阶段 得 到 的 对 称 阵 对 角 化 ,这 一 阶段 称 为 “对 角 
化 ”"。 当 然 , 如 果 和 矩阵 本 来 就 是 对 称 的 , 则 可 直接 进入 第 二 阶段 。 为 方便 计 , 下 面 将 第 一 阶段 和 
第 二 阶段 分 别称 为 “阶段 "和 “阶段 I. 
阶段 1: 对称 化 ”为 了 将 2x2 和 矩阵 入 变换 为 对 称 阵 , 可 用 平面 旋转 矩阵 @ 的 转 置 来 左 乘 
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E A, Bi 
E s || a a Yu Ya 
E A i A j T a {E.7) 
Or A Bg 
将 式 (F.7) 左 边 展开 ,并 使 对 应 项 相等 ,可 得 
Ya T Cay T Sag, (F.8) 
View = Sy 1 CO gs (F.9) 
Va = CO, T Sigg (F. 10) 
和 
Yei = SOG + Cai (F.11) 


MEE 1A) ATP ESKER AT Cc.) AEE A Ee O ESI VER. MATA 
th, Bok oR ya tly, AEF. 
EXER p Ae 与 ;之 比 , 即 
p =- (F.12) 
通过 令 yj = 和 ,可 以 得 到 p 与 矩阵 元 素 的 关系 。 为 此 ,利用 式 (F,10) 和 式 (F.11) 的 定义 ,可 得 


Ai + dkk 





ae ag F Aix (KF. 13) 
下 面 ,通过 消去 式 {F.4) 和 式 (F.12) 中 的 ec 来 确定 * 的 值 ,从 而 有 
_ _Ssen(p) i 
= Vi+p (F.14) 


由 此 ,< 和 xs 的 计算 过 程 如 下 : 

$$ 利用 式 (F.13) 算 出 oo 

o 利用 式 (F.14) 算 出 正弦 参数 s- 

e HARFIDA ERRER co 
如 果 A 原先 就 是 对 称 阵 , 则 wu = ex ,在 这 种 情况 下 * =0,e = 1; 也 就 是 说 ,阶段 [可 省 去 。 

阶段 焉 : 对 角 化 ”这 一 阶段 的 目的 是 将 阶段 [得 到 的 对 称 阵 YA. AT ABTA 
NY SHA Of ARNO, SHO, 定义 了 又 一 个 平面 旋转 。 该 运算 是 一 个 应 用 于 对 
称 阵 的 正 交 相似 变换 。 于 是 ,可 以 写 出 


EPERE 
8 C2 Yki Ves -h G ð d, (F.15) 
一 一 一 人 一 一 一 T 


oO Y 0, D 
其 中 y= y ,将 式 (F.15) 左 边 展开 ,并 令 对 角 元 素 分 别 相等 ,可 得 
di = yy — LCs Yg 十 $3. Vek (F.16) 


和 
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dy = 53%, — 269% Wii + Bs (F.17) 
MS o M o 代表 2x2 年 阵 的 非 对 前 线 LOR AAR IAHR, 


0L T Qs (F.18) 
为 了 对 骨 化 ,计算 非 对 角 项 并 令 共 为 零 ,得 到 
Sa Cy 
O= (yn — Wa) - (2) F (2) (F.19) 
为 了 便于 计算 式 (F.19) ,引入 如 下 两 个 定义 
Sy 
aa (F.20) 
和 
_ vee ~ Ya 
ae (F.21) 
于 是 ,可 将 式 (F.19) 重 写 为 
r+ 2é—-1=9 (F.22) 


式 (F.22) 是 关于 t 的 二 次 方程 式 , 故 可 能 有 两 个 解 ,由 此 得 到 如 下 两 个 不 同 的 平面 旋转 ， 
1) 内 旋 , 在 这 种 情况 下 ,我们 有 如 下 解 





pan En E 
K+ VI+ n 
算出 1 后 ,可 用 式 (F,4) 和 式 (F.20) 解 出 e 和 ;5, ,从 而 得 到 
C2 = 5 (F.24) 
1 十 上 
和 
s = Cy (F.25) 
由 式 (F.2) 、 式 (F.3) 和 式 (F.20) ,得 到 旋转 角 9, 与 上 之 间 的 关系 为 
6, = arctant (F.26) 


因此 ,采用 式 (F,23) 的 解 , 产 生平 面 旋转 @@ ,由 此 ,16:1 位 于 区 间 [0,x4]; 这 种 旋转 被 
称 为 内 旋 。 计 算 过 程 如 下 : 
(a) 由 式 (EF.21) 计 算 岂 “。 
(b) 由 式 (F.23) 计 算出 to 
(ce) 由 式 (F.24) 和 式 (F.25) 分 别 计算 出 cs 和 520 
如 果 原 矩阵 A 是 对 角 阵 , 即 ay = aa =0, 则 角 0, = 0, 故 矩阵 保持 不 变 。 
2) 外 旋 , 对 于 这 种 情况 ,我们 有 如 下 解 
一 -signfi 人 El + Vi +g’) (F.27) 


RF at Se AO BRAT 665 





算出 1 后 ,可 用 式 (F.24} 和 式 (F.25) 分 别 解 出 cy Al 5; 可 以 这 样 便 , 是 因为 这 两 个 式 子 
的 推导 与 二 次 方程 式 (F.22} 无 关 。 然 而 ,在 第 二 种 情况 下 , 式 (F.27) 用 于 式 (F.26) 将 
产生 一 个 平面 旋转 ,其 旋转 和 1281 信 于 区 间 [mw4,m2] 内 。 国 此 ,这 个 与 第 一 个 解 有 关 
的 旋转 称 为 外 旋 。 ER. AS A extA RE, Ep fly = Üy =0, W] 0, = m2. 在 这 个 特殊 
情况 下 ERRIETA HERE HM, i FREA 
i; ae 0 o 11 [ayn 0 
1 ojlo ay] -1 0 Lo a, ieee) 
F2.1 KHONG 的 融合 
将 式 人 .7 中 的 矩阵 立 代 人 式 {F.145) ,并 将 结果 与 式 仁 .6 比较 ,可 以 推出 技 照 @( 对 称 化 
阶段 定义 ) 各 四 (对 角 化 阶段 定 交 ?对 @, FRE 
ef = oe 
等 价 于 
0, = oe, (F,29) 
‘ATS, AE RMS A 
E J — | We A 
= č] =s Cl- & (F.30) 
6, “6 6, 
上 式 展开 并 令 对 应 项 相等 ,可 得 
C = CEs — $5 (F.31) 
和 
a, = SC + CSI (F.32) 
对 于 实数 据 , 由 式 (F.31) 和 式 (F.32) 可 以 发 现 , 角 8 FG, 33 BI SERRE OA G AX, A A, 
与 全 ,有关 。 


F2.2 两 类 特殊 情况 


由 于 更 详细 的 算法 在 将 后 面 的 第 F.3 节 中 给 出 , 衣 这 里 计算 SVD 的 Jacobi 算法 只 需 考虑 
两 类 特殊 情况 : 


情况 1 zay 7 ag F 0。 这 种 情况 下 ,只 需 将 A 对 称 化 , 即 


ce sa| a onliol_|ld od 
区 l h A J | (F.33) 


情况 2: hy = Oyu =O. 在 这 种 情况 下 ,有 


1 0 || ag Gx CS. | d, 0 
i wile mules | 及 o Ea 
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F2.3 复数 数据 的 附加 运算 


式 4F.6) 定 六 的 平面 旋转 只 能 用 于 实数 据 , 首 先 内 为 定 久 旋转 的 正弦 和 余 骆 参数 者 选 为 实 
数 。 为 了 把 旋转 的 应 用 推广 到 更 : 般 的 复数 情况 ,就 更 对 数据 进行 附 吉 处 理 。 显 然 IS AL 
边 Jacobi 算法 适用 于 2x 2 复 从 阵 ,主要 收 上 改 它 的 阶段 [。 然 而 ,实际 上 解决 复数 问题 (在 Jacobi 
算法 范围 肉 ) 并 不 简单 。 这 里 采取 的 方法 是 首先 将 式 (EF.5) 的 复 矩 阵 变 为 实数 形式 ,然后 按 通 
常 的 方法 应 用 双边 Jacobi 算法 。 复 矩阵 到 实 符 阵 变换 出 下 列 西 个 阶段 完成 ,具体 描述 如 下 ， 

阶段 工 三 角 化 ”考虑 -个 形式 如 式 (F.5) 的 2x2 复 数 矩阵 A, REA, BE 
元 素 中 大 正 实 数 。 这 种 假设 是 人 台 理 的 (如 果 击 要 的 话 ) ,只 要 分 解 出 指数 项 eh ,这 里 此 是 am 
的 相 角 。 该 分 解 具 有 这 样 的 影响 :使 量 值 等 于 a, BY SR ZEN TMA E E PR 
下 的 三 个 复数 项 的 各 自 相 角 中 减 去 9。 

为 了 三 角 化 , 令 所 述 矩 阵 A& 左 乘 以 2x2 平 面 旋转 年 阵 , 即 


€ s* Hi Qik by iy | 
=, F, 
E 5 ils a | O wx an 


如 前 ,余弦 参数 e 是 实数 ,但 正弦 参数 ; 是 复数 。 为 了 强调 这 一 点 ,将 : 记 为 





s = |sje* (F.36) 
其 中 ,1s1 是 s 的 绝对 值 ,a 是 :的 由 角 。 而 且 , 要 求 (c,s} 对 满足 如 下 约束 
c+ |sP = 1 (F.37) 


我 们 的 目标 是 选择 (e,s) 对 ,使 得 第 a CER BCR WARK, Ak, DATS PRE 


—sa,; + cay = 0 
或 等 价 为 
p= e (F.38) 


HSCF. 38)RARCE.37) FBR KER 1 
la. 
c= = (F.39) 
Vv ial + au 

注意 ,在 式 {E.39) 中 ,我 们 选择 正 实 根 作为 余 芒 参数 的 值 。 而 且 , 如 果 os 为 零 ( 则 数据 矩阵 一 
和 开始 就 是 上 己 角 和 矩阵) , 则 。= 1 种 s=0, 起 时 ,我 们 可 以 跳 过 阶段 1。 同 样 , 假 如 a 为 零 , 则 可 
进行 转 置 并 进行 阶段 I. 

求 出 2x2 矩阵 和 三角 化 所 需要 的 c Als 值 后 , 即 可 确定 式 (F.35) 右 边 上 三 角 和 矩阵 的 省 个 
元 素 如 下 





Wi = Cly + S*ay, (F.40) 
Win = Ck + sayy {F.41) 
Wey = SA + Cigg {F.42) 


由 于 包 知 a 是 由 设计 得 到 的 正 实 数 ,将 式 (F.38) 和 式 {F.39) 用 于 式 (F.40) 可 显示 出 ,对 角 元 
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素 w; 是 正 实数 , 即 
w, = 0 (F.43) 
然而 , 式 (F.35) 右 边 上 三 角 和 所 阵 的 其 余 两 个 元 素 ws 和 wi 一 般 均 为 复数 。 
阶段 THER ”为 了 将 复数 wj 和 ws 化 为 实数 形式 ,对 式 (F.35) 右 边 的 二 角 和 矩阵 左 乘 
利 丰 习 以 一 对 相位 消除 对 前 阵 ,其 


e 0 O, W, er 0 wi [ee 
oe) olla al? L eel an 
AFM ER A BOA y 的 选取 要 能 够 分 别 消 除 oy Al oy BIA ,因此 选 为 
B = arg(,) (F.45) 
利 
y 一 arg(@zx) (F.46) 
MTR ARIE TE AACR EAPO OLA ww 的 相位 变化 。 挽 名 话说 , 式 (F,44) 中 的 
左 乘 和 右 磁 的 联合 过 程 不 会 引起 对 角 元 素 w, 的 变化 。 
因此 ,阶段 工 获 得 一 个 上 三 荐 矩阵 ,其 二 个 非 零 元 束 都 是 实数 且 非 负 。 将 2x2 复 矩阵 A 
转化 为 上 三 角 实 和 矩 媳 的 过 程 中 要 求 四 个 目 由 上 度 Bc RAR 8 和 7。 现在 已 经 为 我 们 将 
Jacobi 算法 应 用 于 2x2 实 矩阵 铺 平 了 道路 ,正如 本 节 前 面 所 述 。 


F2.4 Givens 旋转 的 性 质 
我 们 和 通过 总 绪 Givens{ 平 面 ) 旋 转 


的 性 质 来 结束 本 节 的 讨论 。 
性 质 1 REER BREUER (PKS s 在 处 理 复 数据 时 是 复数 。 
性 质 2 参数 ec 和 s 总 是 受到 如 下 三 角 关 系 的 约束 
c+ |sP = 1 


性 质 3 Givens 旋转 是 非 埃 尔 米 特 的 , 即 
e' «® 
其 中 上 标 HARIKA 


性 质 4 Givens 旋转 矩阵 是 酉 宛 阵 , 即 


eo = OF 
性 质 5 Givens 旋转 能 保持 长 度 不 变 , 即 
Ox] = |x] 


HH x BHR 2x2 向 量 。 


F.3 i Jacobi 算法 


现在 准备 讲述 循环 Jacobi 算法 或 广义 Jacobi 算法 ;在 数据 方 阵 情况 下 ,这 一 算法 可 通过 求 
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解 一 系列 人 台 适 的 奇异 值 分 解 问题 来 实现 。 我 们 将 针对 实数 据 进行 介绍 。 为 了 处 理 复 数据 ,可 
引用 前 …- 节 后 面部 分 导出 的 复数 据 到 实数 据 的 转换 。 

26,0. DRG. EPR SoH HP koi, RT iki Ri. OPK 
Sb EE O (i, 有 与 M x 有 村 单位 阵 相 同 ,如 下 所 示 


1 0) 0 0 
0 Cl $) 0 +— Hi 
Ək) = : Sb 
0 . ~ r. €] r 0 — Tk (F.47) 
0 0 0 1 
T t 
Al i Blk 


SOG WDRO, A) FRNA PRR REX TERNAL. BAER EE 
Mo Tie ARER A 的 Jacobi 变换 可 描述 如 下 
T: A — OF (i, K)AO,(i, k) (F.48) 
Jacobi 旋转 ©, (i, 4) 7 O (7, kB ARIA PRB APC ARC k, OR. FA, 2 
H T, EA ERE A OTL X( SF A 的 更 新 值 ) :在 这 个 意义 上 





off(X) = off(A)} — ai, — ai, (F.49) 
其 中 off( A) BIEN BRICK MR 
M | 
off(A) = > > a, MA = {ag} (F.50) 


在 循环 Jacobi 算法 中 , 式 (F.48) 的 变换 应 用 于 m= MOM - 1)72 个 不 同 下 标 对 [“ 主 元 (piv- 
ol 中 的 情况 ,这 些 点 以 某 种 国定 的 顺序 选 出 。 这 样 一 系列 m 变换 称 为 扫描 。 择 描 可 以 是 逐 
行 循环 或 逐 列 循环 ,其 简短 说 明 如 例 1 所 示 。 在 任 一 情况 下 , 扫描 后 得 到 一 个 新 的 矩阵 A, H 
此 算出 of(A)。 一 方面 ,如 果 off(A) <8(d 是 一 个 与 机 器 有 关 的 很 小 的 数 ), 则 停止 计算 ; 男 一 
方面 ,如 果 off(A) > 8, 则 继续 计算 。 对 于 人 的 典型 值 [如 =10 “of(A), 其 中 Ay FE Bi 
阵 ] 和 范围 为 4~ 2000 的 好 值 ,算法 经 过 大 约 4 次 ~ lO KARR, 
由 此 可 知 , 行 和 殉 的 排列 是 为 了 保证 Jacobi 循环 算法 收 急 的 惟一 排列 中。“ 收 敛 " 窟 指 
ofa) — 0 Ek —> œ (F.51) 


其 中 A 是 次 扫 措 后 计算 得 出 的 可 x M EE, 


例 1 
HBP 4x4 RMA, RBH 有 =4, 在 每 一 次 扫描 中 共有 六 种 排序 。 一 种 按 行 排 


列 的 扫描 如 下 


BPA RHEE AS Jacobi 循环 算法 的 收 俩 性 证 明 , 由 Forsythe 和 Henrici( 1960) 3. HAUG, Lak 和 Purkt1989) 证 明了 
用 在 算法 并 行 实现 中 的 各 种 排序 等 效 于 接 行 排序 ,因此 同样 保证 了 收 伍 性。 


附录 下 旋转 和 映射 669 





Ta = TaTra TaT, a TT 
[A He 1 AE FY oy da te F 
Te = T34T34T, 4T23T,3T,2 
容易 看 出 ,如 末 满 足以 下 两 个 条 忻 
1} 下 标 ipg 都 不 相同 D 
2) FE k fep. g 都 不 相同 ， 
HERT ATER, BARIER, LRT, 和 Te 实际 上 是 等 价 的 ,如 所 预期 的 。 
下 面 , 考 虑 将 变换 Ti (由 按 行 轮 换 排 序 扫 措 得 到 的 ) 用 于 数据 矩阵 A。 特 别 地 ,利用 式 
《F.48) 的 旋转 ,可 以 号 出 如 下 变换 
Ta: A < @7(1,2)A0,(1, 2) 
T -TIA < 一 Əl, 3)}67(1,2)A@.(1, DA, 3) 
TaTTi: A + O5(1, 4)05(1, 3)@T(1, 2)AO,(1, 2)@,(1, 3)@,(1, 4) 
等 等 。 这 一 系列 变换 的 最 后 一 步 可 以 写 为 
T'A UAV 
它 定 六 了 实数 据 和 矩阵 A HARET. EZE UM Y 分别 定义 
U = @,(1, 2}0,(1, 3)@5(1, 4)@7(2, 3)@o(2, 4)@,,(3, 4) 


和 
V= Ə-(1, 2)@,(1, 3)@,(1, 4)0,(2, 3)8 (2, 490,03, 4) 


F3.1 RRR 


至 此 RNSEFUBAEA FA Jacobi EMA, 4 eee tA 
AER. A EL FERI ERAREMA: SOAK x MERRER A 的 情况 ,此 
时 天 > M, WHE 起 中 添加 K- M FICE EAA E HASH 

A = [A, 0] (F.52) 
EEE A 称 为 增 广 数据 和 矩阵。 然后 , 像 以 前 那样 继续 进行 ,将 循环 Jacobi 算法 用 于 K x KER 
盘 。 在 进行 这 项 计算 时 ,要 求 利 用 式 (F.33) 所 述 的 特殊 情况 1。 在 任何 时 候 , 都 有 如 下 分 解 


vo 
oa.ol X ?| = aastr ao (F.53) 


从 而 ,可 得 到 原 数 据 和 矩阵 A 所 期 望 的 分 解 为 
UAV = diag(oy,..., om) (F.54) 


如 果 和 矩阵 A 的 维 数 M > 天 , 则 可 在 矩阵 中 添加 M - KIRE RO TES H 


~ A 
A= 中 (F.55) 


然后 用 类 似 于 前 面 的 方法 处 理 方 阵 A。 在 第 二 种 情况 下 ,要求 利 用 式 (F.34) 所 述 的 特殊 情 次 2。 
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(EA BE Se IE A TROL TF BRT SEE U 和 VW 的 特征 有 所 变化 外 ,其 余 均 可 按 前 面 
描述 的 方法 进行 。 对 于 实 矩 阵 , 和 矩阵 如 和 都 是 不 侈 的 ,然而 对 十 复 盾 阵 ,两 者 都 是 丁 阵 。 

这 里 描述 的 矩阵 增 广 的 策略 ,表示 了 方 阵 用 Jacobi 算法 的 一 种 简单 扩展 。 然 而 ,这 种 万 法 
的 缺点 是 , 当 和 矩阵 A 的 维 数 远大 于 维 数 M 叶 , 算 法 效率 过 低 , 反 之 让 然 卫 。 


F.4 Householder 变换 


Ft ,转向 讨论 Householder 变换 (或 称 Householder HE) ,这 是 为 了 纪念 其 创始 人 (House- 
holder, 1958a,b,1964) 而 得 名 的 ， 为 了 简化 讨论 ,考虑 一 个 M x1 eB, KIRA 


加 = 人” 


然后 ,Householder 变换 用 M x M EEJ 





(F.56) 


其 中 I 是 Mx M AEE. 
HTHH Householder 变换 的 几何 解释 ,考虑 一 个 中 x 向量 xx 被 左 乘 以 趣 阵 的 情况 
Ox = (1 2uu’ Jx 


J aj? 


onl (F.57) 
=x — TF u 
lul 
利用 定义 ,zx 在 吕 上 的 投影 为 
P(x) = wy (F.58) 
” al? l 


这 个 投影 如 图 .2 所 示 。 图 中 还 包括 了 乘积 Qx WARR MIER, ii Qx 是 x 关于 超 


平面 span {ui 的 镜像 映射 , 它 与 向 量 u EZ. 
正 是 由 于 这 个 原因 , Householder 变换 也 称 为 Householder 映射 2. 式 (F.56) 定 义 的 实数 据 


Householder 变换 ,有 如 下 性 质 ; 


性 质 Householder 变换 是 对 称 的 , 即 
Q =Q (F.59) 


性 质 2 Householder 变换 是 正 交 的 , 即 





i -一 


D 克服 这 个 困难 的 一 个 可 殿 选 择 的 方法 如 下 (lnk, 1986): 
1) 通过 OR Sh Kc BSE A = Ph, oe OCF 


val] 


Ep QO Kx KEZH,RE MxM b= fae. 
2) 用 循环 Jacobi 算法 将 矩阵 RAAHE 
3} 结合 第 一 步 和 第 二 步 的 结果 ， 
而 ”对 于 Householder 变换 的 综述 性 回 左 及 其 在 自 适应 信号 处 理 中 的 应 用 ,参见 Steinhardtt 1988)。 
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Q'=Q" (F.60) 
性 质 3 Householder 变换 是 长 度 受 保护 的 , 即 
‘Qx| = |x| (F.61) 


这 个 特性 由 图 F.2 REA, THAT, oa x AIRS Ox 长 度 完 全 相等 。 
性 质 4 两 外 向量 进 行 相同 的 Householder FH, HARA, 


Span fujt 








图 了 .2 Householder 变换 的 几何 解释 

考虑 任意 的 三 个 向 量 xy 和 me £ Householder TWE O 按照 式 (F.56}) 的 向 量 u Ke 

六 。 再 令 剩余 的 两 个 向 量 x 和 y 由 四 进行 变换 ,分别 得 到 Ox 和 Qry。 这 两 个 变换 和 阿 量 的 内 积 
为 





(Qx)7(Qy) = x Q’Qy 
这 里 用 到 了 性 质 2。 这 里 ,变换 向 量 Ox 和 Oy 与 原来 的 向 量 x 和 y 有 相同 的 内 积 。 
性 质 4 在 数值 求解 最 小 线性 二 乘 间 题 中 具有 重要 的 实际 意义 。 特 别 地 ,Householder 变换 
Hee AS MSE RES ASR CRASS), WRASSE RE 
a: 5 Joe aE “Sh”. A RR RR FS A. PATI A 
沦 何 种 应 用 ,这 里 所 述 的 矩阵 转换 形式 用 来 简化 求解 问题 中 所 涉及 的 数值 计算 。 在 这 个 范围 
内 ,数据 转换 的 一 种 特殊 形式 是 三 角 化 ,就 是 将 全 年 阵 化 为 上 三 角 阵 。 给 定 这 种 形式 的 数据 转 
摘 , 我 们 可 简单 地 利用 Gaussian 消 元 法 完成 矩阵 求 道 , 从 而 求 出 这 个 问题 的 最 小 二 乘 解 。 
性 质 5 给 定 Householder FH Q, TRAE Q 是 超 平 面 上 x 的 一 个 映像 ,此 超 平 面 与 曲 
ZLPAPAH Eu LR, 
这 个 性 质 只 是 式 (F.57) 的 另 一 种 表述 。 性 质 S 的 如 下 两 种 极限 情况 特别 值得 注意 : 
o 向 量 x 是 的 标量 倍数 。 在 这 种 情况 下 , 式 (F,57) 简 化 为 
Qx = -xX 
efx 5u EZ, MxM HARAR. EXPE ACESA 
Qx =x 
HG Arit- FEM AE, RRR ERA ixl LAR- Mx] 


(F.62) 
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向 量 
1 = [1.0,....0F (F.63) 
则 存在 一 个 由 如 下 向 量 
u= x — |xli (F.64) 
定义 的 Householder EH Q, RAHM T u ika se Ox 是 向 量 工 的 线性 倍数 。 
当 赋 予 向 量 m 式 {F. 寻 ) 中 的 值 叶 ,我 们 有 
jul? = mu 
= (x — |x]4) {x 一 人 xl) 
= 2x? 一 2x], 
= 2\[x\(Ix_ — x) 
其 中 x, 是 向 量 x 的 第 一 个 元 素 。 问 样 地 ,我 们 可 以 与 出 
wx = (x — |x} x 
= |x]? — [xl], (F.66) 
= | 对 作 xj — xı) 


因此 ,将 式 (F.65) 和 式 (F.66) 代 人 式 (F.57) 可 以 发 现 ,对 应 于 式 (F.64) 向 量 u 定义 的 变换 癌 量 


(F.65) 





Qx 为 
Qx=x-u 

=x — (x ~ [x{1) (F.67) 

= |xl1 
这 就 证 明了 性 质 6。 

从 式 {F.65) 可 以 看 出 ,x 的 欧 氏 范 数 必须 满足 以 下 条 件 
Ixi > lx (F.68) 

这 个 条 件 仅 仅 说 明 , 不 仅 x 的 第 一 个 元 素 ,而 且 至 少 一 个 其 他 元 素 也 必须 非 零 。 这 样 , 式 
(F.64) 定 义 的 向 量 才 真正 有 效 。 


PEM 6 使 得 Householder 变换 成 为 一 个 非常 强 有 力 的 计算 工具 。 给 定 一 个 向 量 x, 可 以 用 
式 (F.64) 来 定义 u, 使 得 相应 的 Householder 变换 Q 可 消除 向 量 x 中 除 第 一 个 元 素 外 的 所 有 
M-I, RTARTA M - 1 次 平面 旋转 ,一 个 微小 的 不 同 是 : 式 (F.56) 中 定义 
的 Householder RE Q 的 行列 式 为 
Jun" 
| ul? 





det{Q) = det (I 一 ) (F.69) 
= 1 

因此 , Householder 变换 使 该 结 梅 的 方向 反问 。 

注意 ,性 质 1 .性质 5 和 性 质 5 显示 出 Householder 变换 与 Givens 旋转 的 区 别 。 这 两 个 丁 变 


换 的 基本 区 别 通 过 比较 图 F.1 和 图 了 .2 来 说 明 。 
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F.5 QR 算法 


研究 计算 SVD 的 QR 算法 的 出 发 点 是 找到 一 类 能 够 保护 数据 算 阵 A 奇异 值 的 正 交 和 矩阵: 
就 此 ,假设 实数 据 的 情况 ,如 采 


B = PAQ (F.70) 
则 说 矩阵 A BAER B 正 交 等 价 , 式 中 P 和 QQ 是 正 交 策 阵 , 即 

P’P=I 
各 

QQ -=I 
因此 


B7B = Q'A P PAQ 
= Q ATAQ 

EHEER ATA RULE ZERE Q, AERLE RAR, M AA 的 特征 值 不 变 。 因 
此 ,相关 矩阵 ATA 和 BB, Ri AA, RE A ARRE 了 是 特征 等 价 的 。 

利用 式 (F,70) 所 定义 变 模 的 是 的 是 ,将 数据 算 阵 A 化 为 上 双 对 和 胡 形 式 , 并 具有 .上 而 提 到 
的 特征 值 等 价 性 ,对 此 Householder 变换 是 很 台 适 的 。 如 果 , 除 了 主 对 钊 和 上 对 角 元 素 外 ,其 他 
所 有 元 素 均 汶 零 , 则 说 转换 数据 盾 阵 B 为 上 双 对 角 阵 , 即 B 的 第 说 个 元 案 为 

b,; = 0 每 当 i > j 或 j >it+1l (F.72) 

由 于 矩阵 A 化 为 上 双 对 角形 式 , 故 下 一 步 就 是 运用 Householder 双 对 和 角 化 ,如 下 所 述 。 
F5.1 Householder 双 对 角 化 


eS Kx MARERA, RF KaMo 今 QQ ,人 ,Quw 表示 一 组 天 xx 天 Householder 
SGM, a P,P, ,...,Pw :表示 另 一 组 M x M Householder 和 矩阵。 为 了 将 矩阵 和 化 为 上 双 对 角形 
式 ,首先 确定 Householder Hi HE 


(F.71) 


JQ.. Qy KSM 
ve ees K>M yo 
All 
P; = P,P... Py- (F.74) 
使 得 
d h o 
d 
QAP, = B = = fua (F.75) 
0 d 


poet HK 一 Myx M RHR 
对 于 关 > MEIH, HEE A AIREA Householder 2M Q,,Q,... 1 Qu ATR TBR nid 
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Fi ALERE P,P. Pa ;对 应 二 映射 变换 A ET]... WA fy Ee BR 
ASHBY KOO AE. 注意 到 ,当天 > MOAN. WAY Qs 的 Householder EMR A 好 ,而 组 
成 Ps HERRA AM - 2. tHE BS Wit EERE PP... Py FARE EH 
AT HH 

我 们 通过 一 个 例子 来 说 明 这 个 转换 的 思想 。 
例 2 

考 虚 一 个 $x4 扼 阵 入 , 该 短 阵 以 展开 形式 写 为 





> 

II 
wo ooo 
x uM MM om 
woo oo at 
Moe ow Mom 


EYP AFR PHIL LE, EE A t LMA AH Tt: 
首先 ,选择 Q, 使 得 Qi& Ate F MARES 


X X X X 
® x XX 
W x x X 
® x x Xx 
® x x xX 
FH 
xx 
0 x x x 
QA=|0 x x x (F.76) 
Ü x x Xx 
Ü x x x 


其 次 ,选择 卫 使 得 QTAP 在 OA 的 第 一 行 如 式 (F.76) 所 示 的 有 区 别 位 置 处 变 为 零 。 从 
而 


(F.77) 


注意 ,了 P LAB HS QA 的 第 一 列 。 
Mit HAAR THE Q AP 的 旦 部 的 4x3 子 纸 阵 进行 操作 ,可 继续 数据 转 接 。 4 
别 地 ,选择 Q, Fe P, 使 得 


i 


QQ AP, P, = (F.78) 
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TFE ANTEATER QOQ APP, 许 部 的 3x2 子 虐 阵 进行 操作 。 特 别 地 ,我 们 选 
Q 使得 


x x 0i0 
0 x xid 
QiQrQjAPP, =| 0 0 xix (F.79) 
U uU pix 
0 0 oix 
最 后 ,选择 Q AR OF QQ AP P, 尾部 的 2x1 子 矩阵 进行 操作 ,我 们 可 写 出 
x x O 0 
O x x 
B= Q QQQ AP P =| 00x x (F.80) 
00 0 x 
00 0 0 


Fok, ER, TAIE A LR at AD, 
F5.2 Golub-Kahan 步骤 
数据 年 阵 A DON AR ILS , 紧 接 着 是 将 年 阵 进 - - 步 化 为 对 角形 式 的 迁 代 过 程 。 由 式 (F.75) 
可 以 看 出 ,在 由 A 又 对 角 化 得 到 的 和 从 阵 B H, MATENE, PR EEB HAK- MGS 
元 素 对 于 求 原 数据 矩阵 A 的 奇异 值 不 起 作用 ,因此 可 以 去 掉 也 的 后 天- 时 行 元 素 ,从 而 把 它 
看 做 - -个 MEHE. SER B 对 角 化 的 基础 是 Golub-Kahan 算法 (Golub & Kahan ,1965) , 它 是 最 
初 用 来 求解 对 称 特征 值 问 题 的 OR 算法 的 一 种 自 适 应 实现 了 。 
& Bm Mx M ESO ERM EMAAR LAA LRA SIR. Golub-Kahan 
Bey SPEIER EE A F (Golub & Kahan, 1965; Golub & Van Loan, 1996): 
1) HERP T= B' B 尾 部 的 2x2 子 矩阵 ,其 形式 为 
duit fier duaifu | 
ke me 
Hd, Md, BE BEWAHREN a 是 尾部 的 上 对 角 线 元 素 [ 参 见 
PIN). Oa 表示 子 和 矩阵 的 特征 值 , 它 与 du + fe 很 接近 ;这 个 特殊 的 特征 
TË a BRA Wilkinson 漂移 。 
2) 计算 Givens 旋转 参数 c, 和 s, ,使 得 


c os j | 
i A | fod 0 (F.82) 
其 中 d, 和 分 别 表 示 矩 阵 B 的 主 对 角 线 元 素 和 上 对 角 线 元 素 [ 参 见 式 CF.75) 的 右 
边 ]。 式 (F.82) 中 标 有 六 号 的 元 素 表 示 非 零 元 素 。 令 


Cl OS | 
ef =| -mc (F.83) 
O il 


© ORRERA EH QL 算法 有 所 不 同 . 
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3) 将 Givens 旋转 O, KATHE B AA BA CIONAR, WO, 是 在 (2,1) 平 在 中 的 
旋转 矩阵 eH BO, 有 如 下 形式 (以 好 =4 的 情况 为 例 来 说 明 ) 

x 0 0 

1) 

Bo, = | * 


co eo 


0 
x 
xX 


T A n 


0 

0 

其 中 2‘? 是 经 Givens 旋转 后 产生 的 新 元 素 ， 

4) 确定 以 “乒乓 "方式 对 BO, 进行 操作 的 Civens 旋转 序列 U,V U, aa Vea A Uy， 

以 便 在 双 对 角 线 的 情况 下 寻找 不 想 要 的 非 零 元素 zt 。 这 一 系列 运算 再 一 次 以 对 =4 
的 情况 为 例 说 明 如 下 


x 
X 
0 
x x 0 0 
0 x x zW” 
00 x x 
00 0 x 
x 9 Q 
oO x x 0 
U UT BO, YY, ~ Ai ue & 
0 0 28) x 
x x Q O 
Oo x x 0 
Uf UF UT BO, VY = Gps 
0G 0 x 
因此 ,该 迭代 终止 于 一 个 新 的 双 对 角 阵 B, 它 与 原 对 衣 阵 B 的 关系 如 下 
B + (U1 Uf UDB(O Vz... Vu-1) = UT BV (F.84) 
其 中 
U = UU: -.. Un- (F.85) 
和 
V= 0,92... Vy- (F.86) 


JE UR 1 到 步骤 4 包括 了 Golub-Kahan 算法 的 一 次 迁 代 。 典 型 地 ,经 少数 迭代 后 ,上 对 角 线 元 素 
fa 将 变 得 可 以 忽略 不 计 。 当 fu 充分 小 时 ,可 以 缩小 矩阵 ,而 将 算法 应 用 于 较 小 的 答 阵 。fy AL 
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够 小 的 标准 通常 采取 刻下 形式 
ful = elldu-il + dul) 其 中 8 是 各 器 精度 的 小 倍数 (F.87) 
刚刚 进行 的 论述 极 少 说 到 用 于 方 阵 对 角 化 的 Golub-Kahan 算法 。 对 于 该 算法 的 更 详细 的 
论述 ,读者 可 以 参考 Golub 和 KEahanf1965) 的 论文 以 及 Golub 和 Van Loan(1996) 的 书 。 
Golub-Kahan 算法 已 有 重要 改进 。Golub-Kahan 算法 具有 性 质 : 它 可 计算 具有 绝对 误差 上 界 
cI 玉 【 的 区 对 角 阵 卫 的 每 一 个 奇异 值 , 其 中 上 是 机 器 精度 。 因 此 ,可 以 在 相当 高 的 精度 下 计 
Bb RMA ee Ber | Bl) ,而 小 奇异 值 (接近 el B| 或 更 小 ) 的 计算 不 够 精确 。 改 进 型 算 
法 可 在 相当 高 精度 下 计算 出 每 一 个 奇异 值 , 而 与 算法 规模 无 关 。 它 也 可 用 高 得 多 的 精度 计算 
奇异 向 量 。 速 度 与 老 算法 差不多 一 样 快 ( 借 尔 要 快 得 多 ) 的 新 算法 是 Colub-Kahan 算法 与 简化 
型 算法 [对 应 式 (F.82) 中 到 1 = 介 的 结合 。 当 =0 时 ,可 固定 算法 的 剩余 部 分 ,以 便 以 相当 高 
的 精度 计算 每 个 矩阵 元 索 ,并 由 此 得 到 奇异 值 的 最终 精度 [ 对 这 个 算法 的 分 析 ,参见 Demmel 和 
Kahan( 1990) X Deif (1989) ] 。 


F5.3 QR 算法 小 结 


QR 算法 不 仅 数学 上 灵巧 ,而 且 计 算 能 力 很 强 , 是 SVD 计算 中 高 度 通用 的 算法 。 给 定 
K x 时 数据 矩阵 A, 用 于 计算 A AY SVD 的 QR 算法 过 程 如 下 : 


1) 计算 一 系列 Householder 变换 ,将 和 化 为 上 双 对 角形 式 。 
2) 将 Golub-Kahan 算法 用 于 步骤 1 得 到 的 Mx 对 非常 子 和 矩阵。 重复 这 个 应 用 ,直到 按照 
式 (F. 趾 ) 定 义 的 准则 上 对 角 线 元 素 变 得 汀 以 忽略 为 止 。 
3) 确定 A 的 SYD 过 程 如 下 : 
o 步骤 2 得 到 的 年 阵 的 对 角 线 元 素 ,是 矩阵 和 的 奇异 值 。 
@ 步骤 1 的 Householder 变换 与 左 莱 所 涉及 的 步骤 2 的 Givens Bese FRA MT A 
的 左 奇异 向 量 。Householder 变换 与 右 乘 所 涉及 的 Givens JER RRA EM T EEE A 


的 右 奇 异 问 量 。 
110 
s- 2 j 
003 


ap sb eS EM Golub-Kahan 算法 ,得 到 表 下 .1 中 所 示 的 一 系列 结果 [ 当 式 (F.87) 定 义 
的 终止 准则 中 es = 10 时 ]。 经 过 两 次 选民 后 , 竹 阵 耻 的 (2,3)? 元 素 变 得 很 小 ,此 时 矩阵 缩 
小 。 因 此 ,现在 处 理 最 重要 的 2x2 子 和 矩 阵 


0.8817 veel 
0.0000 2.0791 


例 3 
考 虚 一 个 3x3 实 双 对 角 阵 


经 过 一 步 ,这 个 子 厌 阵 最 终 被 对 角 化 为 


0.8596 0.0000 
0.0000 2.1326 
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Fk Rat BR a HRA 
m, = 08596 
T; = 2.1326 
和 
rr; = 3.2731 


hid LAR BB 的 迹 及 其 特征 值 之 和 , 即 》' 中， 可 以 证 明 这 个 计算 的 正确 性 。 
izl 





这 个 问题 留 给 读者 作为 锋 习 。 
A F.i Golub-Kahan 算法 的 开始 两 次 选 代 
BAH 4 RE B 
0 1.0008 1.0000 0. 0000 
9. 0000 2.0000 1.0000 
0.0000 0.0000 30000 
l 0.9155 0.6627 0.0060 
0. 0000 2.0004 0.0021 
0, 0000 0.0000 3.2731 
2 0. 8817 0.4323 0.0000 
0.0000 2.0791 0.0000 


0.0000 0.0000 3.2731 


附录 G 复数 Wishart 分 布 


Wishart 分 布 在 统计 信和 叶 处 埋 中 起 普 重 要 作 用 。 在 这 篇 附 了 水 中 ,我 们 概述 了 复 值 数 据 分 布 
的 一 些 重 要 特性 。 特 别 地 ,我 们 导出 标准 RLS 算法 收 伍 性 分 析 ! 见 第 9 章 习 题 7) 的 一 个 关键 
性 结果 。 首 先 讨论 复 数 Wishart 分 布 的 定义 。 


G.1 定义 
考虑 一 个 M x MOB By CREAR) Ae 
Din) = Xulia” (i) (G.1) 
其 中 
ui) u, (i), uli) wanes uy (id ]® 


FE, u(1),u(2),...,u(ni(n> Meth apa Ci. i. dd.) SER Wishart 分 布 可 正 
tae X Ap F (Muirhead, 1982) 

ikl u G), uli), uyli )li=1,2,.. 0 nt naM AM AAMA ANO, RA 

样本 ,四 (pp) 是 式 {G.]1) 定 闵 的 时 间 平 均 相 关 下 阵 , 则 DAERA AH Wishart 分 布 

Ww(nR), 它 由 参数 Min PRAHE, 

用 特定 的 术语 ,我们 可 以 说 ,如 果 和 矩阵 全 是 Wy(n,RR) 分 布 的 , 则 二 的 概率 密度 函数 为 

l lp- no Mal 
f(D) = etr| — R’ O] (det(@)) 2 (G.2) 
2p, (Fn) (det(R))™ | 2 

其 中 det 表示 害 阵 的 行列 式 ,etr BRAKES, Cy (Rm Ee HS we, eM 
为 





Tyla) = f ar(- A) (det(A)) 0"? dA (G.3) 


其 中 A 是 正定 和 矩阵。 


G.2 一 种 特殊 情况 一 一 六 PH 


UPR SH AH M = 1) 的 特殊 情况 , 式 (G.1) 变 为 标量 形式 
p(n) = 5S lufi) I (G.4) 


FART Sb a(n FBS R 变 为 方差 2*。 令 
pin) 


2 
F 


(0.5) 





yia) = 
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则 利用 式 (G.2), 可 将 归 一 化 随机 变量 yx) 的 归 一 化 概率 密度 钵 数 定义 为 
x afz—1 : oe 
| 3 Š 
ni l 
2r{ a) 
其 中 TCOZ EOE MERAT, wE 类 (na) 是 自由 度 为 二 的 入 分 布 (chi-sguare distribu- 
tion)。 因 此 ,复数 Wishart 分 布 可 看 做 无 变量 y 分 布 的 推广 。 
BA BEA nity? 分 布 的 一 个 有 用 性 质 是 : 它 相 对 于 V2n BM Pee (Wilds, 1962). RP 
ADRE r TEN 





fly’) = (G.6) 





























El y*(n)] ere (G.7) 
Ha] 
EE, y (n) 的 均值 . 均 方 值 和 方差 分 别 如 下 

E! y’ nj] =n (G.8) 
El y'(n)] = n(n +2) (G.9) 
var, y(n) | =n{n+2)-n? =2n (G.10) 

此 外 ,将 r= -1 代 人 式 {G.7), 可 求 出 x*(n) 俩 数 的 均值 为 
P(e an ee (3-3) l NZ -1) l (G11) 

eola Aa g 


G.3 & Wishart 分 布 的 性 质 


复数 Wishart 分 布 具 有 如 下 重要 性 质 (Muithead ,1982; Anderson,1984): 

1) 车 全 是 Ww(n,R) 分 布 ,而 a 是 与 加 无 关 目 具有 概率 分 布 为 P(a=0) =E a=0 的 概率 

是 零 ) 的 任 一 时 x1 随 向 列 向 量 , 则 a" Oaa" Ra EAREN n È y 分布 及 独立 于 a 

2) # @ Bw, (n, RH. OE Mx k BE, O DOEN, (n Q ROHH. 

3) E O BW y(n, DOH. QE Mx k ERARA k, Mo Q E W,- Mek, 
(QORUQ) DRH o 












































名 ”对 于 其 实 部 为 正 的 复数 g 的 一 般 情 况 ,性 到 再 数 TCg) 可 定义 为 如 下 定 积分 形式 (Wilks, 1962) 


Me) = | ed 
0 


积分 结果 ,容易 得 出 
Mg) = (g- DT(g—1) 
对 于 g 是 正常 数 的 情况 ,可 把 怕 玛 函数 表示 为 阶乘 形式 
TS) = tg~- 1)! 
当 g >0 但 不 为 整数 时 ,有 
Vig) = Cg- IE) 
其 中 Ox58<1。 对 于 8= 1 六 的 特殊 情况 , a) =vr 
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4) 车 时 是 Ww(n,R) 分 布 ,而 a 是 与 全 无 关 旦 具有 Pla=0) =0 概率 分 布 的 任 一 Mx1 
FAL ht aR aa O a EAGEN n- M+ y 分 布 。 
5) BRE DA RARA px CM -p THEE 
P, ag 
®, È, 


R, ad 
R, Rs 
如 果 ® f2W y(n Ra, Al O jefe p(n,R, ) 分 布 的 。 





G.4 逆 相 关 和 矩阵 中 (nm) 的 数学 期 望 


复数 Wishart 分 布 的 性 夺 4 可 用 来 求 道 相关 征 阵 下 (zs) 的 数学 期 望 ,在 某 些 情况 下 , 它 与 
RIS 算 法 的 均 方 敛 性 有 关 。 特 别 是 ,对 于 R” 中 任 一 固定 的 非 零 向 量 we, 由 性 质 4 可 知 ， 
aR aaO ax 是 自由 度 为 mn- 开 +1 的 入 分 布 。 令 六 (Ca 时 + 蕊 表示 这 个 变换 系数 , 则 利 
用 式 (G.11) 中 所 述 结果 ,可 写 出 


Ela” (nal = oR aE Game. 


1 


z Hy-! 
= Ml“ ® ,n> M41 


这 也 表明 





E[@"(n)] = ——47-5R' n> M+l (G.12) 


术 语 


1. 书 中 约定 


w b =Á 


. 黑体 小 写字 母 表 示 列 向 量 ， RAKES SRM. 
. 标量 .向量 .矩阵 的 合计 什 用 顶部 带 有 "符号 来 表示 。 
. 符号 1| 表 示 取 其 内 部 及 含 复 标量 的 幅 僵 或 者 绝对 值 。 符 号 ang, j 或 者 arg[ | 表示 取 插 与 


内 标量 的 相 第 。 


4. 符号 上 表示 取 其 内 部 所 售 向 量 或 者 矩阵 的 欧 氏 范 数 。 


a Ww 


~} 


. 符号 det( ) 表 示 插 号 内 方 阵 的 行列 式 。 
. FKH (a, DARTH x 的 范围 为 a <a <b AR a,b ER awash, (a, BL 


Ma<xsbe 


. TBAT TA RRA A 


8. 和 矩阵 ACRE PE a ABA A 
9. hE .向 量 RMS LBS Seo. HARM RB A bie 了 表示。 向 


量 和 第 阵 的 埃 尔 米 特 转 置 用 上 标 吾 表 示 。 向 量 中 元 束 的 后 向 重 排序 用 上 标 召 表 示 。 


. 符号 AS ARAB AEE A 之 道 的 埃 尔 米 特 转 置 。 

. 方 阵 A 的 平方 根 表 示 为 A”。 

. 符号 diagt41 ,4;，...,Aw) 表 示 对 和 角 阵 ,其 主 对 角 线 上 的 元 素 等 于 41,h,..., Ayo 

. 线性 预测 器 的 阶 或 自 回 归 模 型 的 阶 由 相应 标量 或 向 量 参 数 加 有 下 标的 符号 来 表示 。 

. 统计 期 望 运算 表示 为 El) , 方 括号 内 的 量 是 随机 变量 或 者 随机 向 其 。 随 机 变量 的 方 


HATA ver '] ,其 中 的 量 是 随机 变量 。 


RZ H 为 真 ,随机 变量 避 的 条 件 概率 密度 函数 表 承 为 所 (al 也) ,这 里 表示 随机 


变量 上 的 一 个 样本 值 。 


,两 个 向 量 x 和 的 内 积 定 义 为 x*¥Y=y x”。 另 一 个 定义 为 YX= x y”。 这 两 个 内 积 


WATE, [ak x 和 向 量 y 的 外 积 定义 为 zy”。 内 积 结果 是 标量 ,而 外 积 结 果 是 矩阵 。 


AE RICA oR), ERAR MARL RSA, ERE R 之 迹 的 指数 军 作 为 


etr[ 及 ]。 


, 平稳 离散 时 间 随 机 过 程 wa(n) 的 自 相关 函数 定义 为 


r(k) = Elu(nju*(n — k)| 
两 个 同 分 布 的 平稳 随机 过 程 xfna) 和 dn) 的 互相 关 函 数 定义 为 
p(-k) = Elu(n - k)d*(n)] 


. 随机 向 量 un) EE ee 


R = Elu(nye"(n)] 


20, 


21. 


22. 


23. 


25. 


Fe AE Se SP es ROR RA RE, A 14 BEE ,该 处 有 
R, = Elu(nju"’(n)] 
All 
R, = Eletn)e’(n)| 
REALISE aCe PUBL SE RE d{w) 的 集 平均 互相 关 辣 量 表示 为 
p = Eluln)d*(n)] 
在 观测 区 间 eign 上 ,向 量 uli A CREA) Re YO 


Din) = Huu 


i= 


其 指数 加 权 形 式 为 


b(n) = > Agia! (i) 
i=1 


这 里 4 是 指数 加 权 因 子 , 取 值 范围 是 0< A <1. 
在 观测 区 间 1<s i <n 上 ,向 量 0( 让 与 标量 以 六 的 时 间 平 均 互 相关 矩阵 定义 为 





其 指数 加 权 型 为 
zin} = 之 入 li)d* 


时 间 函 数 (mn) 的 离散 时 间 短 里 叶 变换 表示 为 Flu) ARRS U(w) 的 高 散 时 间 
傅 里 叶 反 变换 表示 为 FL Ce) | 


. Laguerre 序列 的 z 变换 表示 为 


pee _ a) 
(ew 
= Loz a) L'(z, a) i = 0 1,2,... 
这 里 总 (z,a) 是 低 通 滤波 器 ,而 50z,a) 是 全 通 滤波 器 ,二 者 皆 为 一 阶 系 统 。 
在 构建 包含 第 阵 量 的 框图 (信号 流 图 ) 中 ,使 用 了 下 列 符 导 





Liz, a) = l-a 


a C 


b 


该 符号 描绘 了 加 法 器 e = a + 5; 类 似 地 , 符号 


十 
a c 


b 
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(a j= 


表示 y = hx 做 运算 的 乘法 器 。 沪 乘法 也 可 以 表示 为 





fie (MIE cca- bo HS 


x ¥ 


单位 取样 (延迟 ) 操 作 符 表 示 为 


uin) u(t l) 


26. FEA SE (fa S WED PF AT 


描绘 了 加 法 器 ec=a+b。 符 号 





表示 乘法 器 C= AB。 符 与 





wert) ee ee 





EELEE 

AGC Automatic gain control 自动 增益 控制 

AIC An information-theoretic criterion 信息 理论 准则 

ALE Adaptive line enhancer 自 适 应 谱 线 增强 器 


AP Affine projection 仿 射 投影 








Autoregressive 

Autoregressive moving average 
Almost surely 

Block exact fast affine projection 
Bounded input, bounded output 

Bit per second 

Backward linear prediction 

Best linear unbiased estimate 

Back propagation 

Binary phase-shift keying 

Constant modulus algorithm 
Discrete cosine transform 

Discrete Fourier transform 
Differential pulse-code modulation 
Double-talk detector 
Data terminal equipment 

Echo canceller 

Extended Kalman filter 

Extended recursive least squares-version | 
Extended recursive least squeres-version 2 
Fast affine projection 
Forward-backward linear prediction 
Frequency-domain adaptive filter 
Fast Fourier transform 
Finite-duration impulse response 
Forward linear prediction 
Fractionally spaced equalizer 

Fast transversal filters (algorithm) 
Grachent-adaptive lattice 
Gradient-adaptive Laguerre lattice 
Generalized sidelobe canceller 
High frequency 

High-order statisties 

Hertz 

Intermediate frequency 

Inverse fast Fourier transform 
Independent and identically distributed 
Infinite-duration impulse response 


Interference-to-noise ratio 


自 回 归 

白 回 归 滑 动 平均 
几乎 确定 

块 精确 快速 仿 射 投影 
有 和 界 输 入 ,有 界 输出 
位 / 秒 

后 向 线性 预测 

最 佳 线性 无 仿 佑 计 

及 向 传播 

二 进 制 相 移 键 控 
常数 模 ( 恒 模 ) 算 法 
离散 余弦 变换 
离散 傅 里 叶 变 换 
差分 脉 码 调制 

双方 通话 检测 器 
数据 终端 设备 
回 波 消除 器 

广义 卡尔 曼 滤 波 器 
广义 递归 最 小 二 乘 -1 型 
广 福 遂 归 最 小 二 狐 -2 型 
快速 仿 射 投影 

前 向 -后 向 线性 预测 
频 域 自首 应 滤波 器 
快速 情 里 时 变换 

有 限 脉冲 响应 

前 向 线性 预测 

分 数 间 隔 均 衡器 
快速 横向 滤波 器 {算法 ) 
梯度 自 适 应 格 型 
梯度 自 适 应 Laguerre 格 型 
广义 旁 瓣 消除 器 
高 频 

高 阶 统计 量 

bh KX 

中 频 
RRL HL Ot Bz ERA 
独立 同 分 布 

无 限 脉 冲 响应 

干扰 噪声 比 
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Is] Intersymbol interference PAGE) FE 

kb/s Kilobits per second 干 位 /各 

kHz Kilohertz TË 

KLT Karhunen- Love transform KEH- em 

LCMV Linearly constrained minimum yariance 线性 约束 最 小 方差 

LEM Loudspeaker-enclosure-microphone 扬 岂 蓝 - 机 宕 - 霉 和 多 风 

LMS Least-mean- square 最 小 均 方 

LSB Least significant bit ERARE) 

LSL Least-squares lattice Re) Fe 

LPC Linear prediction coding 线性 预 调 编 码 

MA Moving average 滑动 平均 

MDL Minimum descriptive length( criterion) 最 小 描述 长 度 (准则 ) 

MEM Maximum entropy method RRR AR 

MIMO Multiple-input , multiple-output 多 和 输 人 多 输出 

MN Minimum norm 最 小 范 数 

MLM Maximum-likelihood method FRA RAE 

MLP Multilayer perceptron 多 层 感知 器 

MSD Mean-square deviation 均 访 偏差 

MSE Mean-square error WARE 

MYDR Minimum- variance distortionless response 最 小 方差 无 失真 响应 

MVUE Minimum-variance unbiased estimate BAT TAM AT 

NPR Nogarrd, Paulsen, and Ravn (Kalman filter) NPR【 卡 尔 曼 滤波 器 ) 

PAM Pulse amplitude modulation 脉冲 幅度 调制 ( 脉 幅 调制 ) 

PARCOR Partial correlation 偏 相 关 

PCM Pulse-code modulation 脉冲 编码 调制 ( 脉 码 调 制 ) 

pdf Probability density function BER EE aE 

PEF Prediction error filter 预 济 误差 滤波 天 

PN Pseudonoise 伪 噪 声 

PNLMS Proportionate normalized 适当 归 一 化 最 小 均 方 (算法 ) 
least-mean-squares( algorithm) 

PRNN Pipelined recurrent neural network 流水 线 递 娄 神 经 网 络 

QAM Quadrature amplitude modulation 正 交 幅度 调制 

QPSK Quadrature phase-shift keying 正 交 相 移 键 控 

QR-RLS QR-decomposition-based 基于 QR 分 解 的 递归 最 小 二 乘 
recursive least squares 

QRD-LSL QR-decomposition-based least-squares lattice 基于 QR 分 解 的 最 小 二 乘 格 型 

RLS Recursive least squares 递归 最 小 二 乘 

RMLP Recurrent multilayer perceptron BIA ERAS 

mms Root mean square 均 AAR 


基本 符号 


ayain) 


ayl) 
A 
A(n) 
b(n) 


b(n) 
b(n) 


Buln) 
c 


cuka) 


Cy(n) 


cín) 


Cal Tis Tare: 


C, Ca) Way... 


@ 
Ca 
Gin) 


本 语 


Real-time recurrent leaming 
Second 

Single input multiple output 
Signal-to-noise ratio 
Self-orthogonalizing block adaptive filter 
Second-order statistics 
Syuare-root filtering 
Singular-value decomposition 
Time-delay neural network 
Time-lagged feedforward network 
Unscented Kalman filter 
Unscented transform 

Very large-scale integrationation 
With probability one 





实时 递归 学 习 

种 

单 输 入 多 输出 

fea BRL. 

自 正 交 块 自 适 应 滤波 器 
二 阶 统 计量 
平方 根 滤波 

a HAO 

时 延 神经 网 络 

时 延 前 馈 网 络 

无 轨迹 卡尔 最 滤 被 器 
无 轨迹 变 镶 

超大 规模 集成 

以 概率 1 


M Brin 次 迭代 时 ) 前 向 预测 误差 滤波 器 第 个 抽 头 权 值 ,下 =0,1， 
. ;及 ;注意 ,对 于 所 有 的 n,anoln)=1 
M Bre 次 迭代 时 ) 前 向 预测 误差 滤波 器 的 抽 头 权 回 和 量 


协 方 差 算 法 中 的 数据 矩阵 


前 加 窗 法 中 的 数据 矩阵 ,表示 为 数据 长 度 的 函数 
n 次 迭代 时 由 普 ( 到 =0,],.….) 阶 预测 误差 滤波 器 产生 的 后 向 (后 验 ) 


预测 误差 


Laguerre 格 型 滤波 器 中 m 级 滤波 后 向 预测 
后 向 (后 验 ) 预 测 误差 向 量 ,表示 由 (0,1,...，, 对 ) 阶 后 向 预测 误差 滤波 


器 产生 的 误差 序列 


h M 阶 后 向 预测 误差 滤波 器 产生 的 后 向 预测 误差 的 加 权 平 方 和 


Givens 旋转 中 的 余弦 参数 


n TRAP M 防 后 向 预测 误差 滤波 器 的 第 天 (=0,1,... ,条 ) 个 抽 头 
权 值 。 注意 ,对 于 所 有 的 no ewy (an) =! 
a WEP M 阶 后 向 预测 误差 滤波 器 的 抽 头 权 向 量 


最 速 下 降 算 法 中 的 加 权 误 差 向 量 
te) 第 k 阶 积累 量 


a, ) Bk BBB 
复 变 函数 理论 中 的 国 线 
M 维 复 向 量 空间 
收敛 比 
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det( ) 
diag( ) 
d(n) 
d 
dín) 
D 
D1 7) 
2 
dect ) 
eln) 
e,(n) 
etr() 
exp 


ARBRE RE 


括号 内 短 阵 的 行列 式 

对 角 阵 

期 望 响应 

协 方差 法 中 的 期 望 响应 向 量 

前 吉 窗 法 中 的 期 望 响 应 向 量 

FALTER ie Fe 

Ja Ih] WAS FE 

均 方 偏差 

描述 门限 装置 执行 判决 的 隙 数 

IG BHAT RS RS RES 

使 用 递归 LSL 算法 或 QRD-LSL 算法 时 ,第 m 级 输出 的 后 验 估计 误差 
自然 对 数 的 底 

括号 内 和 矩阵 之 迹 的 指数 军 运 算 

指数 

期 望 运算 

挑动 矩阵 

代价 函数 定义 为 加 权 误 差 平 方 和 ,类 代 次 数 n 和 加 权 向 量 Ww 的 隐 数 
代价 尔 数 定义 为 误差 平方 和 ,表示 为 抽 头 权 向 量 w 的 函数 
*(w) 的 最 小 值 

代价 函数 定义 为 加 权 误 差 平 方 和 ,表示 为 选 代 次 数 上 的 函数 

n 次 磷 代 时 由 上 讶 有 阶 前 向 预测 误差 滤波 器 产生 的 前 向 (后 验 ) 预 测 误差 
前 向 ! 后 验 ) 预 测 误差 向 量 ,表示 由 (0,1,...， 好 ) 阶 前 回 预 测 误 差 请 波 
器 产生 的 误差 序列 

样本 值 为 二 时 ,随机 变量 U 的 概率 密度 函数 

样本 值 为 则 时 ,随机 向 攻克 的 联合 概率 痊 度 函数 

M 阶 前 向 预测 误差 滤波 器 产生 的 前 向 预测 误差 序列 的 z 变换 

转移 矩阵 

由 上 阶 前 向 预测 误差 滤波 器 产生 的 前 向 预测 误差 的 加 权 平 方 和 

傅 里 时 变换 算 子 

傅 里 叶 反 变换 算 子 

用 于 盲 均衡 的 非 线性 函数 

FERH 

基于 格 型 预测 器 的 联合 过 程 估计 的 第 个 回归 系数 

第 i 个 假设 

离散 时 间 线 性 滤波 器 的 转移 函数 

表示 复 基 带 信 和 号 同 相 ( 实 部 } 分 量 的 下 标 

单位 矩阵 

Fisher 信息 年 阵 ARE 


-的 平方 根 

用 于 表示 维 纳 滤波 问题 的 代价 函数 ,表示 为 抽 头 权 问 量 w BK 
Fisher 信息 和 矩阵 

RLS 算法 中 的 增益 向 量 

滑动 平均 模型 的 最 终 阶 数 

MERA E gm) 的 相关 第 阵 

自然 对 数 

参数 向 量 6 的 对 数 似 然 函 数 

a 参数 化 的 第 i 个 Laguerre 序列 的 :变换 

下 三 角 抵 阵 形式 中 的 变换 矩阵 

Be EER AN AE ABE 

线性 范 数 ( 殉 氏 ) 空 间 

线性 预测 器 或 自 回归 模型 的 可 变 阶 数 

线性 预测 器 或 自 回 归 模 型 的 最 终 阶 数 

自 回 归 滑 动 平 均 模 型 的 最 终 阶 数 

失调 

离散 时 间或 者 用 于 递归 算法 的 迭代 次 数 

数据 长 度 

表示 高 斯 ( 正 态 ) 分 布 的 符号 

噪声 子 空 间 

M 的 阶 数 

ER) k AREKE p HRR 

抽 头 输入 向 量 wn) 与 期 望 响 应 d(n) 之 间 的 互相 关 问 量 
平稳 输入 情况 下 预 油 阶 数 为 时 的 (前 向 或 者 后 向 ) 平 均 预 测 误差 功率 
RLS 算法 公式 中 与 时 间 平 均 相 关 拖 阵 虽 (n) 之 首相 等 的 算 阵 
第 站 个 特征 向 量 的 第 i 个 元 素 

第 上 个 特征 向 莉 

dom BAA Se ERB) PP AR 

HES ig PEER E E A A EE 
标准 高 斯 随机 变量 的 概率 分 布 函数 

廷 时 后 ( 集 平均 ) 相 关 和 矩阵 及 的 元 索 

变换 因子 

HEA eT ADE e(n) OP 

M 维 实 向 量 空 间 

fess Sel ae 

符号 函数 

TK ae 

自 回 归 ( 功 率 ) 谱 
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Syk) MEM RKR PE ) iF 
Sum Cw) Reh NETR El MVDR) iý 
F 系统 
Fa 渐 减 激励 子 空间 
F 共 他 激励 子 空间 
F, 持续 激励 子 空间 
Fa AAT [i 
i 时 间 
t 非 平稳 输入 时 联合 过 程 估 计 中 产生 的 向 量 
3 ELERTE TE HERE E 
u(r) 在 时 刻 = BEIER i PERA AE 
u(n) Hu(n),w(n-1),... 作为 元 素 组 成 的 抽 头 输入 问 量 
min) ut{nn) 的 同 相 分 量 
uon) u(n) ERa E 
u, 数据 算 阵 A Hi k PERRE 
U EME A AA ay i a PA F 
UW, 由 抽 头 输入 ufn} ,ufn 一 1),... 张 成 的 空间 
Un) MWERA ulii =1,2,..., 0 RICE A 
v(n) 在 最 速 下 降 算 法 和 LMS 算法 中 的 变换 加 权 误 差 癌 量 
v,(n) 数据 矩阵 AES k PAR 
VY 数据 矩阵 A 的 右 奇 异 向 量 盾 阵 
min) n i EA A e PHS ARIA 
Wh mN) n REI m ER EM SE Ak SG OAL 
Wp m pT) n CLEAR m BT BM eR SSS a BS TA 
win) n Esp A) AB Td BB i AS AR ER i 
Wom a) n BEA m DP Reg Fe) BB aie PH Sk AR fa) 
Wen itt) n 时 刻 m BY All RE SE BHA AR fo) E 
w 表示 Wishart 分 布 的 符号 
x(n) 卡尔 曼 滤 波 器 理论 中 的 状态 
y(n) FRR Ep Bee ae a HY A 
Yp 由 观测 值 y(n) ,y(n -1),... 张 成 的 向 量 空间 
y(n) 设计 IR 自 适 应 注 波 器 的 方程 误差 法 中 修正 的 输出 信号 
z! 序列 2 变换 中 定义 的 单位 延迟 算 子 { 单 位 延迟 髓 ) 
z fishin All ul) Se d AR E EEA m 
Zíy) 标准 高 斯 概率 密度 函数 
a Laguerre 序列 定义 中 使 用 的 参数 
a(n) n INP BSS A al at 


a,» Pi 


IR 自 庆 应 滤波 器 中 的 滤波 回归 向 量 ¥(w) 的 元 素 


Kim) 

Kym CR) 

wal 7, 了 Ta, Ta) 
À 

Ay 

A 
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DCT-LMS 算法 中 使 用 的 常数 

CAL 算 法 中 使 用 的 常数 

n 时 刻 严 阶 的 后 向 预测 谋 差 

在 FF 算法 WBA LSL A AAA ORD-LS 算法 中 的 变换 央 子 
g RUE RZ 

PPLE SM Ae 

PEHL E AS we BE 

设计 WR 自 适 应 泪 波 加 的 输出 误 盖 法 中 的 滤波 回归 器 向 量 
正则 化 参数 ,调整 参数 

第 一 象限 问 量 ( 也 用 1 表示》 

Kronecker 序列 , 当 =0 时 等 于 1,1z0 时 等 于 0 

前 向 预测 误差 疡 (nm) 与 延迟 的 后 向 预测 误差 总 (na ~ DZ AA 
预测 阶 数 为 m 的 角 归 一 化 联合 过 各 估计 谋 莽 

预测 阶 数 为 m 的 角 归 一 化 后 问 预 测 误 差 

预测 阶 数 为 m 的 前 归 一 化 前 向 预测 误差 

加 权 误 差 向 量 

前 向 ( 先 验 ) 预 测 误差 

参数 向 量 

酉 旋转 

平稳 环境 下 格 型 预测 器 的 第 mm 个 反射 系数 

非 平稳 环境 下 最 小 二 乘 格 型 预测 器 的 第 nm 个 后 向 反射 系数 
非 平稳 环境 下 最 小 二 乘 格 型 预测 器 的 第 m 个 前 向 反射 系数 
三 谱 

RLS, FTF, LSL, QR-RIS 和 ORD-ISL 算法 中 的 指数 加 权 问 量 
HAERE 及 的 第 k REE 

HERR R 的 最 大 特征 值 

相关 和 矩阵 R 的 最 小 特征 值 

指数 加 权 因 子 对 角 阵 

均值 

最 速 下 降 算法 和 LMS 算法 中 的 步 长 参数 

软 约束 FTF 算法 中 的 常数 

零 均值 自 噪声 过 程 的 样本 值 

Bussgang 算法 中 的 卷 积 陈 声 

过 程 噪声 问 量 

测量 噪声 问 量 

随机 游 动 状态 模型 中 的 过 程 噪声 向 量 

RLS 算法 中 的 向 量 

QRD-LSL 算法 中 的 第 mw 个 参数 
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先 验 估计 误差 

无 干扰 估计 误差 

时 间 平 均 相 关 和 矩阵 @ 的 第 1, 上 个 元 素 

RLS 算法 有 限 精 度 分 析 中 的 转 称 矩阵 

坤 经 元 激活 函数 ,是 输入 vw 的 函数 

时 间 半 均 相 关 知 阵 

时 间 平 均 相 关 算 阵 ,表示 为 观测 间隔 的 函数 
RHE n TARER y 分 布 随 机 变量 

相关 和 矩阵 R 的 特征 值 扩 散 度 或 条 件数 (最 大 特 征 值 与 最 小 特征 值 之 比 ) 
HEARR 0 < wale RA -< 站 所 

FAR] AEP A ER pE 

IER m 后 自 相 关 国 数 的 相关 系数 或 者 归 一 化 值 
方差 

最 速 下 降 算 法 中 的 第 # 个 自然 模式 的 时 间 常 数 
近似 LMS 算法 学 习 曲 线 的 单 衰变 指数 的 时 间 常 数 
盲 均衡 中 信道 的 残余 脉冲 响应 

梯度 向 量 
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